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关于 本 书 


人 是 很 奇怪 的 动物 ， 天 生 懒 惰 ， 但 是 在 压力 的 驱使 下 ， 又 能 做 成 一 些 连 自己 都 会 觉 
得 惊讶 的 成 就 。 对 于 天 生 喜 欢 写 写 随笔 和 技术 blog 的 我 ， 在 近 三 年 的 时 间 里 ， 虽 有 
多 家 出 版 社 编辑 的 循循善诱 ， 仍 然 不 为 所 动 ， 心 想 着 有 这 闲 时 间 我 不 如 多 吃 几 份 美 
食 ， 多 打 两 盘 DOTA。 


更 深层 次 地 讲 其 实 是 源 于 对 于 未 知 的 恐惧 ， 源 于 面 对 数 十 万 文字 工作 量 的 害怕 ， 这 
本 就 是 一 场 体力 和 脑力 并 存 的 马拉松 ， 普 通 人 在 看 到 终点 的 艰巨 时 ， 在 起 点 就 已 经 
选择 了 放弃 ， 然 而 我 不 是 一 个 普通 的 人 ， 因 此 早 在 6 个 月 前 我 就 富有 先 见 之 明 地 创 
建 了 这 本 书 ， 并 且 写 上 了 长 达 83 个 字 节 的 详细 介绍 ， 然 后 就 没有 了 下 文 。 


无 数 次 惨痛 的 教训 告诉 我 : 决心 虽然 重要 ， 但 是 坚持 更 加 可 贵 。 让 我 重新 拾 起 笔 
(A f) 的 原因 是 源 于 今 晚 的 一 顿 饭 。 今 晚 注 定 是 一 个 平凡 的 夜晚 ，DevOps 组 的 
同学 们 像 往 常 一 样 忙 到 晚上 8 点 多 已 是 饥 肠 圈 圈 ， 正 纷纷 收拾 东西 下 班 ， 大 家 站 在 
公司 门 前 讨论 去 哪里 吃饭 ， 这 时 我 走出 来 ， 虽 刚 从 纽约 飞 回 到 空气 清新 的 帝都 ， 时 
差 还 没有 倒 回 来 ， 脑 袋 浑 浑 重 骂 ， 但 又 担心 这 帮 章 通 的 家 伙 站 在 公司 大 门口 持续 影 
响 公 司 形象 ， 于 是 忙 把 他 们 连 哄 带 骗 全 都 打包 上 车 ， 拉 到 了 附近 的 一 家 馆子 里 ， 几 
口 球 香 的 云南 饭菜 入 肚 ， 大 家 就 开始 天 南 地 北 地 扯 东 扯 西 ， 无 外 乎 是 谁谁 谁 今天 又 
看 了 一 本 MySQL 从 删 库 到 跑 路 ， 谁 谁谁 今天 又 当 了 一 回 Puppet 背 锅 侠 ， 谁 谁谁 的 
项 目 又 埋 了 一 个 大 坑 。 


不 知 不 觉 ， 我 们 就 聊 到 了 OpenStack 自 动 化 部 署 这 个 话题 上 。 作 为 一 名 从 2011 年 开 
始 接触 Openstack 的 老 油 条 ， 在 13 年 幸运 地 混 进 了 PuppetOpenstack 社 区 项 目 成 了 

一 名 core， 这 漫漫 五 年 时 间 里 有 许多 知识 经 验 和 教训 值得 沉淀 ， 因 此 我 深 深 地 感觉 
到 是 时 候 忽 和 悠 召唤 这 帮 和 孩子 来 一 起 填 这 个 史诗 级 别 的 远古 巨 坑 了 。 


DevOps Team 从 13 年 伊始 就 全 身心 投入 到 持续 交付 和 持续 集成 事业 中 ， 目 前 使 用 
了 96 个 puppet module, 6 € PuppetMaster, 集中 管理 着 约 87 个 Openstack 集 群 ,7 种 不 
同 环境 ， 支 撑 了 近 3500 台 Openstack 集 群 服务 器 。 独 立 开发 了 云 平 台 部 署 工 具 
(Pluto)， 软 件 包 管理 工具 (Packforge/Specforge/Repoforge)，laaS 虚 拟 资源 池 
(Chameleon) , Openstack 升 级 套件 (Screenwriter)， 这 里 面 涉 及 到 了 大 量 的 自动 化 
运 维 工具 ， 例 如 : Ansible, Foreman, Puppet, ClusterShell, Mcollective ; 同时 还 有 
大 量 运 维 脚 本 ， 和 包含 了 多 种 语言 ， 如 : Shell, Ruby, Python, Puppet 。 


说 实话 ，DevOps 团 队 里 每 个 人 平时 都 有 忙 不 完 的 事情 ， 从 早上 还 没 到 公司 到 晚上 
回 到 家 中 ， 随 时 随 刻 会 被 人 on call， 就 像 今天 吃饭 那样 ， 维 宇 同学 正 站 在 门口 等 我 
上 个 wc 的 时 间 ， 就 被 其 他 同事 喊 回去 处 理 问 题 去 了 。 但 并 不 是 说 因此 就 有 理由 说 ， 
我 们 很 忙 ， 忙 得 没有 时 间 写 一 本 书 。 我 们 的 确 需 要 停 下 脚步 ， 回 头 看 一 看 过 去 三 年 
的 努力 ， 然 后 做 一 个 系统 性 的 梳理 和 总 结 了 。 


本 书 是 关于 对 Openstack 自 动 化 部 署 工作 核心 部 分 的 讲解 : 

PuppetOpenstack 核 心 模块 和 基础 模块 的 详细 介绍 和 最 佳 实践 
我 们 规划 每 天 晚上 抽出 3 小 时 以 上 的 不 国定 时 间 ， 计 划 在 2 个 星期 内 (210+ 人 时 ) 完 
成 第 一 版 的 初稿 工作 ， 然 后 开始 进入 稳定 的 选 代 周期 。 而 这 本 书 仅 是 一 个 起 步 ， 这 
几 天 我 规划 了 接 下 来 的 技术 分 享 输出 的 Roadmap， 比 如 Orchestration > Cl, Rolling 


Upgrade 等 热门 话题 。 我 们 不 想 雷 声 大 雨点 小 ， 因 此 当 这 些 事情 在 丨 正 落 到 地 面 的 
时 候 ， 你 会 听 到 那些 令 人 振奋 的 声音 。 


x 
Oy 


希望 关注 此 书 的 读者 们 可 以 从 中 有 所 思 ， 也 有 所 得 。 


TAXAR ARKEA RR 


e 关于 本 书 


概览 


0. 关 于 本 书 - 章节 简介 

1. 关 于 讲 与 不 讲 - 取 和 会 的 艺术 

2. 关 于 Openstack 

5. 相 同和 不 同 - Fuel/Packstack/TripleO/Ctask 和 PuppetOpenstack 的 关联 
6. 为 什么 要 学 ?3 - 不 要 甘于 做 一 个 只 会 使 用 工具 的 人 


关于 本 书 


本 书 的 主旨 是 为 读者 讲解 如 何 借 助 当前 


流行 的 自动 化 运 维 工具 目 来 完成 DpenStack 
云 平 台 的 部 署 和 配置 工作 ， 本 书 大致 划 分 为 三 


为 三 大 部 分 : 


e 介绍 部 分 包含 前 期 的 准备 工作 ， 相 关 约 定 ， 术 语 说 明 ， 项 目 概览 ， 模 块 剖 析 等 
等 基础 知识 给 读者 从 全 局 上 的 认识 

e 配置 管理 部 分 本 部 分 分 为 三 章 ， 分 别 介绍 Openstack 使 用 到 的 基础 模块 和 核心 
服务 模块 以 及 公共 库 模块 的 介绍 

e 最 佳 实践 部 分 主要 介绍 在 实际 生产 环境 中 应 注意 的 细节 和 管理 规约 


关于 讲 与 不 讲 


这 点 很 重要 ， 笔 者 在 撰写 本 书 前 也 曾 设想 编写 一 本 OpenStack 运 维 大 全 ， 涉 及 到 运 
维 中 的 所 有 环节 ， 但 发 现 其 工作 量 和 难度 远 远 超出 了 事先 的 预 估 。 延 期 在 IT 领 域内 
是 一 件 常 识 ， 因 此 在 做 一 件 事 情 前 尚 若 没有 考虑 清楚 其 界限 和 范围 ， 那 么 就 容易 引 
起 工程 延期 甚至 无 法 完成 。 因 此 ， 对 于 本 书 ， 其 主要 目的 是 : 


讲解 如 何 使 用 自动 化 配置 管理 工具 Puppet 完 成 OpenStack 
我 们 不 会 讲 的 是 : 


核心 服务 模块 的 主要 class 和 define， 重 要 params， 使 用 陷阱 ， 注 意 事项 ， 使 用 技 
巧 ; 像 reference books 那 样 事 无 巨细 地 讲解 每 个 模块 的 每 个 class,define,custom 
resource,facter， 每 个 params 的 说 明 。 因 为 我 们 不 是 超人 ， 你 也 不 是 机 器 人 。 


关于 OpenStack 


Openstack 目 前 已 经 成 为 开源 laaS 项 目的 考 楚 。 在 去 年 Dpenstack 推 出 BigTent 战 略 
后 ， 在 Openstack 名 下 的 项 目 已 经 多 达 百 个 。 那 么 在 面 对 如 此 复杂 的 架构 和 众多 服 
务 ， 我 们 该 如 何 去 面 对 ? 


Fuel/Packstack/TriplO/Ctask 和 PuppetOpenstack 的 


e Packstack 封 装 了 PuppetOpenstack， 使 得 用 户 在 终端 下 可 以 通过 交互 式 问 答 
或 者 非 交 互 式 YAML 格 式 文件 的 方式 去 部 署 Openstack 和 集群 ， 使 得 用 户 无 需 了 
解 Puppet 和 PuppetOpenstack 的 细节 。 


e Fuel 更 进一步 ， 提 供 了 友好 的 Web UI 界面 ， 使 得 用 户 对 于 技术 细节 如 何 实现 上 
做 到 了 非常 好 的 隐藏 ， 还 提供 了 一 些 健康 检查 工具 ， 确 保 部 署 符合 预期 。 


e TripleO 使 用 Openstack 的 现 有 项 目 来 部 署 ODpenstack，tripleo-puppet-elements 
组 件 用 于 生成 部 署 Openstack 的 磁盘 镜像 文件 ， 直 接 使 用 到 了 
PuppetOpenstack ° 


e Ctask 类 似 于 Packstack， 封 装 了 PuppetOpenstack， 不 同 点 在 于 整合 了 内 部 开 
发 的 网 络 检查 工具 ， 分 布 式 存储 检查 脚本 ， 确 保 每 步 的 输出 符合 预期 ， 并 能 快 
速 定位 到 问题 的 根源 。 


为 什么 要 学 习 OpenStack 自 动 化 部 署 ? 


我 们 的 目标 读者 是 实施 工程 是， 运 维 工 程 师 ，DevOps 工 程 师 和 研发 工程 是， 是 一 
个 不 甘于 只 会 使 用 工具 的 人 ， 总 欢 探索 新 的 事物 ， 喜 欢 去 创 根 问 底 。 

同时 现 有 基于 PuppetOpenstack 封 装 的 S 工 具 并 不 能 100% 满 足 用 户 的 需求 ， 如 果 你 
没有 手动 能 力 的 话 ， 那 你 只 能 采用 一 些 很 low 的 方法 ， 比 如 使 用 Fuel 部 署 了 一 套 集 
群 ， 然 后 再 手动 修改 配置 文件 ， 手 动 重启 服务 ! 一 周 后 ， 一 个 月 后 ， 你 还 能 记 住 你 
当时 做 的 操作 吗 ? 之 后 来 维护 的 同事 ， 他 们 知道 你 对 这 套 复 杂 的 软件 栈 做 了 什么 

吗 ? 

No， 在 运 维 自 动 化 的 世界 里 ， 一 切 都 应 该 自动 的 ， 不 依赖 于 有 具体 的 人 ， 而 是 依赖 于 
稳定 强大 的 自动 化 运 维系 统 。 

如 果 你 是 一 名 正在 或 者 即将 要 做 Openstack 集 群 部 署 和 管理 的 工程 师 ， 那 么 这 就 是 
你 应 该 看 的 书籍 。 


和 电子 版 本 有 什么 不 同 ? 


最 初 我 们 在 Gitbook 上 开始 了 本 书 的 编写 ， 获 得 了 广泛 的 关注 和 评论 。 但 是 电子 版 
本 更 像 是 一 个 collection， 来 自 于 多 个 协作 者 的 共同 产物 ， 在 内 容 统一 和 用 词 上 没有 
做 到 严谨 精确 ， 当 时 所 使 用 的 Mitaka 版 本 已 经 泣 后 于 最 新 稳定 版 本 近 一 年 。 更 重要 
的 是 ， 在 这 一 年 多 的 时 间 里 ， 我 们 在 新 上 线 的 OpenStack 集 群 上 做 了 许多 新 的 尝试 


和 总 结 。 


因此 ， 纸 质 版 会 包含 更 多 更 新 令 人 感 兴趣 的 内 容 ， 包 括 对 于 网 络 的 管理 ， 操 作 系 统 
的 管理 ， 运 维 节点 的 设计 等 等 。 
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约定 和 说 明 


文 草 风格 说 明 


因为 本 书 共有 5 名 参与 编写 的 同学 ， 为 了 保证 行文 分 各 个 ， 我 (Xingchao) 会 负责 概览 
部 分 和 最 住 实践 部 分 的 编写 (果然 是 打 普 油 的 命 ) ， 同 时 也 会 负责 部 分 模块 章节 的 
编写 ， 其 他 同学 则 会 专注 在 核心 模块 部 分 ， 给 出 各 个 复杂 模块 的 详细 介绍 。 


同时 ， 我 们 每 天 会 在 微 信和 群 里 虹 嗜 讨论， 如何 改 进 各 个 模块 章节 的 书写 方式 和 风 
格 ， 并 保持 格式 上 的 严格 统一 ， 给 予 读者 更 好 的 阅读 体验 ， 同 时 如 果 你 在 阅读 过 程 
中 发 现 有 错别字 ， 不 合理 的 说 明 ， 非 常 欢迎 指正 ， 我 们 会 在 第 一 时 间 更 正 。 


文 草 格式 说 明 


本 文 使 用 标准 的 Markdown 语 法 编写 ， 该 写 标 题 的 写 标 题 ， 该 用 列表 的 用 列表 ， 该 
用 表格 的 用 表格 ， 该 用 代码 块 的 标明 puppet/bash 语 法 高 完 ， 会 严格 遵守 一 本 技术 
书籍 的 基本 修养 ， 因 此 就 不 再 废话 。 


^ box 
Module 命 名 规范 说 明 
绝 大 多 数 的 puppet modules 命 名 规范 使 用 puppet- 前 级， 后 面 为 服务 名 称 ， 例 如 : 
e puppet-nova 
e puppet-keystone 
当然 也 有 一 些 公 共 库 模块 ， 例 如 : 
e puppet-oslo 
e puppet-openstacklib 


e 约定 和 说 明 
o 文章 风格 说 明 
o 文章 格式 说 明 
o Module 命 名 规范 说 明 


术语 衣 


本 书 的 后 续 章 节 中 使 用 了 与 Puppet，Ruby，OpenStack 等 技术 相关 的 术语 ， 为 了 
让 读者 更 快 地 理解 其 含义 ， 下 表 中 给 出 了 本 书 所 出 现 的 术语 和 释义 。 


名 称 


facter 
puppet 


resource 


class 


define 


module 


transformation 


layer 
manifests 


node 
definition 


hiera 
RVM 


Rails 


RubyGems 


Gem 


Gemfile 


Rake 


Rakefile 
Bundle 


e 术语 表 


说 明 
用 于 获取 系统 变量 的 组 件 


当 出 现在 终端 时 ， 表 示 puppet 软 件 的 命令 行 工具 ; 当 出 现在 
文中 时 ， 可 能 表示 puppet 软 件 ， 或 者 puppet clients 


puppet 中 的 资源 单位 ， 你 可 以 认为 它 与 “Linux 中 一 切 迪 fle“ 这 
句 话 对 等 


puppet 中 resource 的 集合， 与 面向 对 象 中 的 类 无 关 
puppet T resource?) RA > 5 /A £18 & v à CE GL X 
puppet 中 class 和 define 的 集合 ， 与 服务 紧密 相关 ， 例 如 
puppet-apache， 专 门 管 理 apache 所 有 相关 配置 

转换 层 ， 可 以 理解 为 对 class 和 define 的 调用 层 

用 于 puppet 代 码 的 文件 目录 

节点 定义 文件 ， 等 价 于 角色 定义 


数据 文件 ， 用 于 存放 节点 所 有 变量 的 赋值 

安装 和 管理 多 个 Ruby 环 境 以 及 Ruby 应 用 所 使 用 的 Ruby 环 

o 

Web 开 发 框架 

RubyGems 是 一 个 方便 而 强大 的 Ruby 程 序 包 管理 器 ( 
package manager) ， 类 似 RedHat 的 RPM. 它 将 一 


用 程序 打包 到 一 个 gem 里 ， 作 为 一 个 安装 单元 。 无 需 安装 ， 最 
新 的 Ruby 版 本 已 经 包含 RubyGems 了 


Gem 是 封装 A 序 或 代码 库 。 


定义 你 的 应 用 依赖 哪些 第 三 方 包 ，bundle 根 据 该 配置 去 寻找 
这 些 包 。 


Rake 是 一 门 构建 语言 ， 和 make 类 似 。Rake 是 用 Ruby 写 的 ， 
它 支持 自己 的 DSL 用 来 处 理 和 维护 Ruby 程 序 。 Rails 用 rake 扩 
展 来 完成 多 种 不 容 任 务 ， 如 数据 库 初 始 化 、 更 新 等 。 详细 
http://rake.rubyforge.org/ 


Rakefile 是 由 Ruby 编 写 ， Rake 4r 4-1 
定义 。 


Bundler 为 Ruby 应 用 维护 了 一 个 持久 的 包 依 赖 环境 。 


于 就 是 由 Rakefile 文 件 


KA 
PuppetOpenstack/ H ij 4r 
PuppetOpenstack 项 目 是 由 PuppetLabs 公 司 于 2013 年 发 起 的 开源 项 目 ， 最 初 托 
管 在 Github 上 ， 半 年 后 移入 OpenStack Cl 体系 。 


PuppetOpenstack 最 初 只 有 Keystone,Nova,Glance,Cinder 等 几 个 核心 项 目的 
modules， 随 后 得 到 了 Red Hat,Cisco,Mirantis 等 公司 的 广泛 支持 ， 在 社区 贡献 者 的 
439 71 T > PuppetOpenstack/$ A J.Stackforgef&4U i A 7 36 f OpenStack 
Offical 项 目 ， 目 前 隶属 于 Openstack Goverance 项 目 。 目 前 已 构成 了 了 一 套 庞 大 而 
复杂 的 部 署 体系 。 


你 可 以 通过 以 下 链接 找到 有 关 PuppetOpenstack 项 目的 更 多 细节 说 明 : 


e Wiki (Out of date) : https://wiki.openstack.org/wiki/Puppet 
e Docs: http://docs.openstack.org/developer/puppet-openstack-guide/ 


A 4t 4 35 4% PuppetOpenstack 


PuppetOpenstack 社 区 对 与 其 目标 的 定义 如 下 : 
to bring scalable and reliable IT automation to OpenStack cloud deployments. 


目前 用 于 部 署 OpenStack 的 工具 已 非常 广泛 ， 为 什么 要 选择 它 呢 ?或 者 说 从 技术 角 
度 来 看 ，OpenStack 自 动 化 部 署 工具 应 该 如 何 做 技术 选 型 ? 


笔者 认为 有 以 下 三 点 : 


第 一 ，PuppetOpenstack 项 目 诞生 于 2013 年 ， 诞 生 时 间 早 ， 参 与 贡献 者 众多 ， 使 得 
PuppetOpenstack 项 目 非常 成 熟 和 稳定 ， 这 对 于 自动 化 运 维 来 说 是 十 分 重要 的 考虑 
其 次 ，2016 年 4 月 出 炉 的 Openstack User Survey (https://www.openstack.org/user- 
survey/survey-2016-q1/landing) 


下 图 选 自 该 份 报告 ， 统 计 了 关于 主流 部 署 工具 种 类 和 占有 率 的 使 用 统计 : 


0% 10% 20% 30% 40% 
Puppet =| (6% 6% 42% 
Ansible 9% 4% 42% 


Fuel EC 5% 4% 19% 


Chef ecce eum 2% 2% 12% 


PackStack 4X 2% 11% 
Juju MENNELCENNEENN 11% 
SaltStack WT 1x 6% 
Crowbar 2% 
CFEngine rea 
| 


Other Tool MEN OGEEÉS 3% 19* 10% 
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Percentages are rounded to the nearest whole number; bar length she 


Production W 
Dev/ QA 


Proof of Concept 


值得 一 提 的 是 ， 图 中 Fuel 和 Packstack 项 目的 核心 部 署 功能 直接 使 用 的 是 
PuppetOpenstack 项 目 。 因 此 ， 可 以 理解 为 有 近乎 一 半 的 用 户 选 择 使 用 
PuppetOpenstack 部 署 Openstack， 这 对 于 百花 齐 放 的 开源 世界 来 说 ， 是 非常 可 观 
而 且 有 说 服 力 的 数字 。 


第 三 ， 欧 洲 原子 能 机 构 CERNI- 用 Ee 世界 上 规模 最 为 庞大 的 OpenStack 
集群 ， 总 计 超 过 了 一 万 台 服 务 器 。 这 从 用 户 角度 证 明了 PuppetOpenstack 可 以 支持 
大 规模 Openstack 集 群 的 部 署 。 


OpenStack modules 


现在 我 们 先 站 在 最 高 的 山峰 上 ， 来 看 看 这 岸 的 群 山 吧 。 


第 一 个 印 入 我 们 眼帘 的 是 Dpenstack 服 务 相 关 的 modules， 目 前 puppetopenstack 已 
经 支持 以 下 服务 的 配置 和 管理 : 


e Alarming (Aodh) 

e Key Manager (Barbican) 
e Telemetry (Ceilometer) 
e Block Storage (Cinder) 


e DNS (Designate) 

e Image service (Glance) 

e Time Series Database (Gnocchi) 
e Orchestration (Heat) 

e Dashboard (Horizon) 

e Bare Metal (Ironic) 

e Identity (Keystone) 

e Shared Filesystems (Manila) 
e Workflow service (Mistral) 

e Application catalog (Murano) 
e Networking (Neutron) 

e Compute (Nova) 

e Load Balancer (Octavia) 

e Oslo libraries (Oslo) 

e Benchmarking (Rally) 

e Data processing (Sahara) 

e Object Storage (Swift) 

e Testing (Tempest) 

e Deployment (TripleO) 

e Database service (Trove) 

e Deployment UI (TripleO Ul) 
e Root Cause Analysis (Vitrage) 
e Message service (Zaqar) 


Tool modules 


第 二 大 山脉 是 工具 类 相关 的 modules， 分 别 有 : 


e Common Puppet library (OpenStackLib) 

e Common Ruby helper library (puppet-openstack spec helper) 
e Puppet OpenStack helpers (OpenStackExtras) 

e Virtual Bridging (OpenvSwitch) 

e Integration Cl tools (Puppet OpenStack Integration) 

e Blueprints (Puppet OpenStack Specs) (hosted here) 

e Compliant tool (Cookiebutter) 

e Sync tool (Modulesync) 


Other modules 
第 三 大 块 则 是 一 些 尚 在 开发 阶段 或 者 已 经 废弃 的 模块 : 


e Storage (Ceph) 
e Monitoring (Monasca) 
e Composition Layer (deprecated in Juno) (OpenStack) 


推荐 的 阅读 顺序 
说 明 : 本 书 以 Qcata 版 本 为 基础 


如 果 你 是 第 一 次 接触 PuppetOpenstack， 推 荐 从 公共 库 和 工具 类 模块 章节 
的 puppet-openstack-integration 一 节 开 始 ， 这 节 会 介绍 如 何 使 用 
PuppetOpenstack 模 块 快 速 部 署 一 个 All-in-One 的 Openstack 服 务 。 


e PuppetOpenstack 项 目 简介 
o 为 什么 选择 PuppetOpenstack 
o OpenStack modules 
o Tool modules 
o Other modules 
o 推荐 的 阅读 顺序 


第 二 章 Puppet X X s 


在 开始 部 署 OpenStack 前 ， 首 先 你 要 完成 一 些 准备 工作 ， 因 为 OpenStack 是 一 个 复 


杂 的 技术 栈 组 合 ， 部 署 工 作 同 样 不 简单 ， 在 你 准备 进入 每 个 特定 章节 前 ， 我 们 已 为 
你 准备 好 了 相应 的 知识 。 

环境 搭建 

你 可 以 使 用 我 们 准备 的 安装 脚本 来 配置 实验 环境 ， 请 在 终端 下 执行 以 下 命令 : 


sudo curl http://pom.nops.cloud/scripts/install_example_environment 


建议 为 你 的 虚拟 机 制作 好 快照 ， 在 调试 代码 时 ， 尽 可 能 使 用 纯净 的 测试 环境 。 





其 他 准备 
e 请 系 好 安全 带 ， 我 们 准备 起 飞 了 :D 


e 第 二 章 Puppet 开 发 基础 
o 环境 搭建 
o 其 他 准备 


X T Puppet 


Puppet fii 4r 


Puppet 是 由 Puppet 公 司 开发 的 系统 管理 框架 和 工具 集 ， 被 用 于 IT 服务 的 自动 化 管 
理 。 由 于 和 良好 的 声明 式 语言 和 易于 扩展 的 框架 设计 以 及 可 重用 可 共享 的 模块 ， 使 得 
Google ` Cisco ` Twitter > RedHat ` New York Stock Exchange 等 众多 公司 和 机 构 
在 其 数据 中 心 的 自动 化 管理 中 用 到 了 Puppet 。 
为 得 到 众多 开发 者 和 用 户 的 支持 ，Puppet 长 期 保持 着 盯 自 动 化 管理 领域 的 领头 
为 什么 Puppet 能 得 到 青睐 ? 笔者 认为 有 以 下 几 点 : 

e 功能 强大 的 DSL， 较 为 平滑 的 学 习 曲 线 

e 良好 的 扩展 性 

e 可 被 复 用 和 共享 的 模块 

e 活跃 的 社区 

e 详细 的 文档 


Puppet 公 司 简介 


Puppet & Puppet s] Pr » ¥/ 4 APuppetlabs ° 


除了 自家 的 源头 产品 Puppet 之 外 ，Puppet 公 司 还 提供 了 一 些 相关 领域 的 运 维 自动 化 
IA 


除了 软件 ，Puppet 公 司 还 有 两 项 值得 关注 的 技术 输出 : 


e 半年 一 度 的 PuppetConf 大 会 已 跻身 于 IT 圈 的 顶级 技术 会 议 之 列 
e 每 年 发 布 的 State of DevOps Report 是 DevOps 领 域 最 具 影 响 力 的 调查 报告 


基础 知识 要 求 


e 对 LinuXx 基 础 知识 有 所 了 解 ， 推 荐 《 乌 哥 的 Linux 私 房 菜 基础 学 习 篇 》 
e 对 Puppet 基 础 知识 有 所 了 解 推荐 官方 学 习 文 档 


e 对 OpenStack 部 署 有 所 了 解 


同类 工具 


除了 Puppet 之 外 ， 在 业界 常见 的 配置 管理 工具 还 有 : 


e CFengine 老牌 配置 管理 工具 

e Chef 和 Puppet 相 似 的 配置 管理 工具 

e Saltstack 使 用 Python 编 写 的 配置 管理 和 编排 工具 
e Ansible 使 用 Python 编写 的 配置 管理 和 编排 工具 


e 关于 Puppet 
o Puppet 简 介 
o Puppet 公 司 简介 
o 基础 知识 要 求 
o 同类 工具 


Puppet 核 心 概念 


本 书 的 重点 是 讲解 PuppetOpenstack 项 目 ， 并 假定 读者 对 于 Puppet 有 一 定 的 了 解 ， 
此 将 不 会 包含 对 于 Puppet 基 础 知识 的 讲解 。 


然而 ， 在 Puppet 中 有 一 些 非常 重要 的 概念 ， 对 于 这 些 核心 概念 的 准确 理解 ， 将 有 助 
于 读者 快速 掌握 Puppet Modules 的 开发 ， 因 此 ， 本 节 将 花费 一 些 篇 幅 来 帮助 读者 深 
入 理解 这 些 核心 概念 。 


0.Resource Type 


在 Linux 中 ， 一 切 虱 文件 ( file )。 而 在 Puppet 中 ， 一 切 避 资源 ( resource )。 
比如 ，package 对 应 着 软件 包 资源 类 型 (resource type)。 


在 服务 器 上 安装 vim 软 件 包 ， 相 应 地 声明 一 个 package 资 源 : 


package {'vim': 
ensure => present 


} 
在 服务 器 上 管理 ntp 服 务 ， 相 应 地 声明 一 个 service 资 源 : 


service {'ntpd': 
ensure => running 


} 


在 Puppet 中 ， 常 用 的 资源 类 型 有 以 下 8 类 : 


e file 

e package 
e service 
e modify 
e exec 

e cron 

e User 


e group 


0.1 资源 声明 


资源 声明 (Resource declaration) 则 是 一 个 表达 式 ， 用 于 描述 资源 的 期 望 状态 并 
将 其 添加 到 Catalog。 


可 以 理解 为 类 似 于 编程 语言 中 的 函数 调用 。 


1.Class 


与 面向 对 象 语言 不 同 ， 类 (Class) 在 Puppet 中 只 是 表示 了 一 个 代码 块 : 通常 将 一 些 相 
关 的 功能 组 合 到 一 起 ， 并 存储 到 module 中 ， 以 便 后 期 使 用 。 


1.1 类 的 定义 
定义 一 个 Class 的 语法 格式 如 下 : 


e 以 class K# FAK 

e 指定 一 个 类 的 名 称 

e 一 对 花 括号 

e 至 少 含 有 一 个 资源 声明 的 代码 块 


例如 ， 以 下 是 一 个 关于 apache 的 Class : 


Class apache (String $version = 'latest') { 
package {'httpd': 
ensure => $version, # Using the class parameter from above 
before => File['/etc/httpd.conf'], 
} 
file {'/etc/httpd.conf': 
ensure => file, 


owner => 'httpd', 

content => template('apache/httpd.conf.erb'), # Template from : 
} 
service {'httpd': 

ensure => running, 

enable => true, 

subscribe => File['/etc/httpd.conf'], 
} 





1.2 Class 文 件 的 存放 位 置 


Class 定 义 文件 应 存放 在 modules 的 manifests 目 录 下 ，Puppet 将 自动 地 加 载 该 路 径 
下 的 所 有 类 。 


1.3 类 的 声明 


在 Puppet manifest 文 件 中 声明 一 个 Class 时 ， 则 会 将 其 添加 到 catalog 文 件 。 通 常 在 
节点 定义 文件 中 或 者 其 他 class 文 件 中 去 声明 一 个 Class。 


在 Puppet 中 ， 有 两 种 方式 来 声明 一 个 Class : 
e 类 Include 方 式 


e 类 Resource 声 明 方 式 


1.3.1 Include 方 式 


Include 方 式 是 指使 用 include ， require ， contain * hiera_include & 
数 来 声明 Class， 使 用 这 种 方式 Class 可 以 安全 地 被 多 次 声明 。 


例如 : 


class compute()f{ 
include ::nova 
include ::nova::api 


node 'compute node' { 
include compute 
# nova 类 被 声明 了 2 次 
include ::nova 


何谓 安全 地 多 次 声明 ? 


任何 一 个 Class 在 一 个 指定 节点 oe > 只 能 被 声明 一 次 ， 和 否则 Puppet 在 运 
行 时 2-35 8 5 YF 产 重复 声明 JH] 85 441. 2 这 也 是 初学 者 容易 犯错 的 地 方 ° 


而 通过 类 include 的 方式 可 以 实现 尽管 Class 被 多 次 声明 ， 但 最 终 只 向 catalog 添 加 一 
次 的 效果 。 


但 使 用 这 种 方式 ， 则 Class 中 的 参数 传 值 只 能 通过 Hiera 进 行 。 


1.3.2 Class 方 式 


Class 的 方式 则 要 求 每 个 被 声明 的 Class 只 被 声明 一 次 。 通 过 这 种 方式 ， 在 声明 某 个 
特定 Class 的 时 候 ， 可 以 对 指定 参数 进行 重新 赋值 。 


例如 : 


class compute($ip='127.0.0.1'){ 
class {'nova': 
ipaddress => $ip 


} 


class {'nova::api':} 


node 'compute_node' { 
class{'compute': 
ip => '192.168.1.1' 


2.Defines 
Defines 4% 7] Defined resource type， 是 一 段 可 以 被 多 次 赋值 的 代码 块 ， 可 以 理 
解 为 是 一 种 轻 量 级 的 自 定义 的 资源 类 型 。 


例如 ， 以 下 是 nova::manage:network define， 用 于 管理 nova network 的 创建 。 在 实 
际 使 用 中 ， 可 以 通过 传递 不 同 的 参数 给 nova::manage::network 来 创建 不 同 的 nova 
network ° 


define nova::manage::network ( 


$network, 
$label 
$num_networks 
$network_size 
$vlan_start 
$project 
$allowed_start 
$allowed_end 
$dns1 

$dns2 


ME 


include ::nova: 

nova_network { 
ensure 
network 
label 
num_networks 
network_size 
project 
vlan_start 
allowed_start 
allowed_end 
dns1 
dns2 


'novanetwork', 


: deps 


$name: 


present, 
$network, 
$label, 
$num_networks, 
$network_size, 
$project, 
$vlan_start, 
$allowed_start, 
$allowed_end, 
$dns1, 

$dns2, 


dn F # Ht tb dE 40 T definefeclasstd » 36 EXIGIR ° 


首先 ， 来 看 这 两 种 类 型 的 最 大 区 别 : 


e Define : 在 一 个 catalog 中 可 以 被 重复 声明 
e Class: 在 一 个 catatlog 中 只 能 被 声明 一 次 


再 谈 使 用 场景 : 


e Class 通 常用 于 管理 具有 唯一 性 的 资源 
e Define 通 常用 于 管理 具有 多 样 性 的 资源 


以 Apache 为 例 ， 会 使 用 Class 来 管理 Apache 软 件 包 ， 主 配置 文件 ， 以 及 服务 状 
态 的 管理 ; fm Apache vhost 则 会 使 用 Define 来 管理 。 我 们 会 在 后 面 puppet- 
apache 章节 中 详细 讲解 。 


3. Nodes 


假设 你 已 经 下 载 了 puppet-apache 和 puppet-mysql 模 块 ， 接 下 来 要 为 指定 服务 器 赋 
予 指定 的 角色 ， 那 么 这 个 过 程 称 为 是 节点 分 类 (Node Classification) ° 在 Puppet 
中 ， 这 些 数据 通常 存储 在 节点 定义 文件 中 。 


节点 定义 文件 的 存放 路 径 通常 位 于 «ENVIRONMENTS 
DIRECTORY>/<ENVIRONMENT>/manifests/site.pp 。 


现在 我 们 要 配置 2 种 类 型 的 节点 : Web 服 务 器 www.example.com 和 DB 服务 


va, 


# dbi.example.com ， 在 site.pp 中 加 入 以 下 代码 : 


node 'www.example.com' { 
include apache 


} 

node 'db.example.com' { 
include mysql 

} 


最 佳 实践 


尽管 在 节点 定义 文件 里 可 以 添加 任何 的 Puppet 代 码 ， 但 请 保持 只 在 节点 定义 文件 中 
做 两 件 事情 : 声明 类 和 设置 变量 。 


e Puppet 核 心 概念 
o 0.Resource Type 
m 0.1 资源 声明 
o 1.Class 
m 1.1 类 的 定义 
a 1.2 Class 文 件 的 存放 位 置 
m 1.3 类 的 声明 


深入 理解 OpenStack 自 动 化 部 署 


1.3.2 Class 方 式 
m 2.Defines 
e 3. Nodes 


Puppet 核 心 概念 
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理解 Hiera 


0. Hiera 是 什么 ? 


Hiera 是 Puppet 内 建 的 键 值 类 型 数据 查询 系统 。Hiera 默 认 支 持 的 存储 后 端 格式 是 
YAML 和 JSON， 当然 也 可 以 根据 需要 编写 自 定义 的 后 端 接 口 。 


1. Hiera 的 历史 和 意 》 


在 Puppet 2.x 的 早期 版 本 中 ， 在 声明 一 个 节点 的 角色 时 ， 与 该 节点 相关 的 数据 是 直 
接 与 类 的 声明 相关 联 。 这 种 混合 的 方式 ， 随 着 被 管理 集群 数量 的 增加 而 变 得 复杂 不 
堪 。 因 此 ， 社 区 提出 了 一 个 称 之 为 Hiera 的 额外 组 件 ， 可 以 将 节点 定义 和 节点 数据 分 
离开 ， 但 在 2.X 中 ， 想 要 使 用 Hiera 函 数 ， 则 须 安 装 额外 的 软件 包 ， 并 且 对 已 有 的 代 
码 进 行 修 改 。 从 Puppet 3.x 起 ，Hiera 作 为 Puppet 的 原生 功能 ， 可 以 在 manifests 中 
直接 使 用 。 


通过 描述 比较 上 涩 ， 下 面 来 看 一 个 实际 的 例子 : 


假设 我 们 在 节点 定义 文件 中 声明 了 100 台 Web 服 务 器 ， 其 中 前 三 台 Web 服 务 器 的 定 
义 如 下 : 


node 'web01' { 
include apache 


node 'web02' { 
class ['apache': 
default vhost => false 


node 'web03' { 
class {'apache': 
default_mods => true 


从 上 述 代 码 ， 可 以 发 现 每 个 节点 都 声明 了 class apache ， 有 的 使 用 了 apache 类 
的 默认 值 ， 有 的 则 对 某 些 参 ie 了 非 默认 值 。 


如 果 这 100 台 Web 服 务 器 节点 定义 的 赋值 都 不 相同 ， 那 么 这 个 节点 定义 文件 代码 的 
行 数 将 长 达 几 百 行 ， 对 于 管理 员 来 说 则 是 一 个 梦 丑 。 


在 引入 Hiera 之 后 ， 我 们 可 以 看 到 明显 的 不 同 : 


1. 节 点 定义 文件 


- d: 


4 使 用 正则 来 匹配 所 有 的 web 角色 节点 
node /Aweb\d+$/ i 
include apache 


2. 节 点 数据 文件 


web02.yaml 


# 变量 使 用 类 名 标识 的 命名 空间 来 区 分 
apache: :default_vhost: false 


web03.yaml 


apache: :default_mods: true 


在 上 述 yaml| 文 件 中 ， 参 数 $defualt vhost 与 之 对 应 
的 apache::default_vhost 称 为 Hiera key’ false 是 key value ° 


过 这 种 方式 ， 可 以 做 到 将 所 谓 的 节点 定义 和 节点 数据 相互 分 离 ， 减 少 了 宛 余 代 
码 ， 提 高 了 代码 可 读 性 ， 也 提高 了 安全 性 。 


2.Hiera 配 置 文件 


Hiera 的 配置 文件 称 为 hiera.yaml。 在 Hiera 4 之 前 ，hiera. 全 局 唯一 的 ， 在 
Hiera 5 之 后 ，hiera.yaml 则 被 分 成 了 三 类 : 全 局 ， 环 境 相 关 ， 模 块 相关 。 但 是 其 目 
的 都 是 一 样 的 : 定义 数据 的 层次 。 


在 解释 层次 这 个 概念 之 前 ， 先 理解 在 前 一 个 Web 节 点 例子 中 的 Hiera 配 置 文件 是 如 
何 编 写 的 。 


以 下 是 环境 相关 的 hiera 配 置 文件 : 


# /hiera.yaml 


version: 5 


defaults: # Used for any hierarchy level that omits these keys. 
datadir: data # This path is relative to the environment -- /dal 
data_hash: yaml_data # Use the built-in YAML backend. 


hierarchy: 
- name: "Per-node data" # 可 读 的 名 称 
path: "nodes/%{trusted.certname}.yaml" # 文件 路 径 





继续 以 Web 节 点 为 例 ， 现 在 需要 在 Web 节 点 中 加 入 对 NTP 服 务 的 管理 : 


node /Aweb\d+$/ { 
include apache 
include ntp 


在 class np 有 一 个 参数 是 $ntp_server ， 需 要 在 每 一 个 web 节 点 的 yaml 文 件 
中 添加 以 下 参数 : 


ntp::ntp server: 
- '10.0.10.101' 
- '10.0.10.102' 
'10.0.10.103' 


如 果 有 100 个 节点 ， 需 要 重复 添加 100 次 。 


那么 如 何 消除 这 段 宛 余 的 数据 呢 ? 还 记得 我 们 先前 提 到 的 层次 (hierarchy) 吗 ? 


接 下 来 ， 我 们 在 现 有 的 hiera.yaml 添 加 一 个 新 “层次 ”: common.yaml, 用 于 统一 管理 
Web 节 点 的 公共 数据 。 


# /hiera.yaml 


version: 5 


defaults: # Used for any hierarchy level that omits these keys. 
datadir: data # This path is relative to the environment -- /dat 
data_hash: yaml_data # Use the built-in YAML backend. 


hierarchy: 
- name: "Per node data" # 可 读 的 名 称 
path: "nodes/%{trusted.certname}.yaml" # 文件 路 径 


- name: "Common data" 
path: "common. yaml" 


4 — 





在 common.yaml 中 对 $ntp_server 赋 值 : 


ntp::ntp server: 
- '10.0.10.101' 
- '10.0.10.102' 
'10.0.10.103' 


通过 Hiera 的 层次 设 定 ， 不 同 的 节点 通过 同一 套 Hiera 可 以 得 到 不 同 的 数据 ， 实 现 了 
数据 的 复 用 和 分 离 等 运 维 目 标 。 


3. 小 结 


Hiera 是 Puppet 中 的 核心 组 件 ， 也 属于 不 多 理解 的 部 分 。 本 节 通 过 一 些 简 单 的 示例 
来 说 明 Hiera 的 主要 功能 ， 而 Hiera 还 拥有 其 他 强大 的 功能 ， 推 荐 读者 深入 阅读 以 下 
官方 文档 : 


e Hiera: How hierarchies work 
e Hiera: How the three config layers work 
e Hiera: Merging data from multiple sources 


e 理解 Hiera 


深入 理解 OpenStack 自 动 化 部 署 


0. Hiera 是 什么 ? 

1. Hiera 的 历史 和 意义 
o 2.Hiera 配 置 文件 

o 3. 小 结 


o 


o 


3? ff Hiera 
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准备 开发 测试 环境 


0. 环 境 准 备 


在 开始 介绍 PuppetOpenstack 前 ， 我 们 需要 准备 一 台 虚 拟 服务 器 用 于 接 下 来 的 练 
5) o 


读者 可 以 通过 使 用 虚拟 化 软件 或 者 通过 云 平台 创建 一 台 虚 拟 机 。 
其 规格 如 下 


e 2 VCPU ，4G RAM, 30G Disk ,至 少 有 一 块 NIC ， 操 作 系 统 为 Centos 
7.1/7.2 ， 可 以 访问 Internet 


在 安装 Puppet 之 前 ， 需 要 为 虚拟 主机 设置 合适 的 主机 名 ， 域 名 ， 时 间 等 。 
$ hostnamectl set-hostname learnpom 


$ echo "127.0.1.1 learnpom.example.in learnpom" >> /etc/hosts 


1. T # Puppet 


在 安装 装 Puppet 前 ， 首先 需要 了 解 Puppet 的 运 1B 云 行 方式 ， 当 前 Puppet 支 持 两 种 运 和 1 
A: 


e Server/Client## X, » $ € 4 X Puppet agent 和 Puppet server 软 件 包 
e Standalone/£ X, > R € € x X Puppet agents + & 


在 通常 的 开发 场景 下 ， 笔 者 推荐 使 用 Standalone 模 式 ， 操 作 简 单 ， 定 位 问题 容易 ; 
在 管理 内 部 的 测试 /生产 环境 时 ， 笔 者 建议 须 使 用 ServerClient 模 式 ， 进 行 集中 式 管 
3H o 


本 书 中 除 个 别 场景 外 ， 默 认 以 Standalone 模 式 为 主 。 


2.x X Puppet 


Puppet 由 三 个 软件 包 构 成 : 


e puppet-agent: 用 于 安装 Puppet,Ruby,Facter,Hiera 和 依赖 包 的 软件 包 
e puppetserver 用 于 安装 Puppet Server 服 务 


注 : 本 文 所 使 用 的 Puppet 版 本 是 4.1x 


打开 虚拟 机 的 终端 使 用 root 权 限 在 命令 行 下 输入 以 下 命令 : 


$ cat << EOF >> install_puppet.sh 
# Script for installing puppet Based on CentOS 7.x 
set -e 


if [ -n "$DEBUG" ]; then 
set -x 
i 


# set environment 
export SCRIPT_DIR=$(cd `dirname $0' && pwd -P) 
export PUPPET_VERSION=${PUPPET_VERSION: -4} 
export MANAGE PUPPET MODULES-$1(MANAGE PUPPET MODULES:-true) 
export MANAGE_REPOS=${MANAGE_REPOS: - true} 
export PUPPET_ARGS=${PUPPET_ARGS: - } 
export SCRIPT DIR-$(cd “dirname $0' && pwd -P) 
if [ $PUPPET VERSION == 4 ]; then 
export PATH=${PATH}: /opt/puppetlabs/bin 
export PUPPET RELEASE FILE-puppetlabs-release-pci 
export PUPPET BASE PATH-/etc/puppetlabs/code 
export PUPPET PKG-puppet-agent 
elif [ $PUPPET MAJ VERSION -- 5 ]; then 
export PATH=${PATH}:/opt/puppetlabs/bin: /opt/puppetlabs/puppet/b: 
export PUPPET_RELEASE_FILE=puppet5-nightly-release 
export PUPPET_BASE_PATH=/etc/puppetlabs/code 
export PUPPET_PKG=${PUPPET_PKG: - puppet -agent} 
Fi 
if [ $(id -u) != 0 ]; then 
# preserve environment so we can have ZUUL_* params 
SUDO='sudo -E' 


TE 


echo 'Setup (RedHat based)' 

sudo yum -y remove facter puppet rdo-release 

sudo yum -y install libxml2-devel libxslt-devel ruby-devel rubygem: 
sudo yum -y groupinstall "Development Tools" 


echo 'Install Bundler' 

mkdir -p .bundled gems 

export GEM HOME= pwd /.bundled gems 

gem install bundler --no-rdoc --no-ri --verbose 


echo 'Start install puppet' 


if rpm --quiet -q $PUPPET RELEASE FILE; then 
$SUDO rpm -e $PUPPET RELEASE FILE 
fonts 
# EPEL does not work fine with RDO, we need to make sure EPEL is re 
if rpm --quiet -q epel-release; then 
$SUDO rpm -e epel-release 
felt 
$SUDO rm -f /tmp/puppet.rpm 


wget http://yum.puppetlabs.com/${PUPPET_RELEASE_FILE}-el-7.noarch 
$SUDO rpm -ivh /tmp/puppet.rpm 

$SUDO yum install -y dstat ${PUPPET_PKG} setools setroubleshoot auc 
$SUDO service auditd start 


# SElinux in permissive mode so later we can catch alerts 
$SUDO setenforce 0 
EOF 


$ sudo bash install_puppet.sh 





3. X PuppetServer 


Puppetserver 的 手动 安装 和 配置 部 署 比 较 繁 杂 ， 但 是 Puppet 的 目标 不 就 是 实现 软件 
安装 部 署 的 自动 化 吗 ? 


因此 ， 我 们 可 以 使 用 puppet module 安装 用 于 部 署 Puppet Server 的 module， 然 
后 完成 Puppetserver 的 一 键 安装 。 


在 终端 下 执行 以 下 命令 : 
$ puppet module install theforeman-puppet 


$ cat > install.pp < true, server_foreman => false } 
EOF 


$ puppet apply install.pp -v 


e 准备 开发 测试 环境 
o 0. 环 境 准 备 
o 1. 了 解 Puppet 
o 2. 安 装 Puppet 
o 3. 安 装 PuppetServer 


二 草 OpenStack 基 础 服务 模块 


ABR Vi We 


何 为 基础 模块 ? 


在 OpenStack 生 产 环境 中 ， 对 外 提供 API 服 务 的 组 件 运行 在 Web 服 务 器 上 ， 服 务 组 
件 之 间 大 多 通过 消息 队列 〈MQ) 进 行 通讯 ， 认 证 使 用 的 Token 数 据 则 会 被 存 到 缓存 
服务 中 ， 租 户 的 虚拟 机 ， 块 设备 等 等 资源 信息 均 被 保存 到 关系 型 数据 库 中 等 等 场 
景 ， 都 用 到 了 大 量 的 基础 服务 。 那 么 在 本 章 将 会 介绍 如 何 使 用 Puppet 来 管理 这 些 基 
础 服务 。 


在 Puppet 中 ， 与 基础 模块 对 应 的 是 : 


e OpenStack 使 用 到 的 公共 基础 服务 ， 如 数据 库 ， 消 息 队 列 ， 缓 存 ，Web 服 务 器 


村 村 
e 与 操作 系统 相关 的 配置 模块 ， 如 防火 墙 ， 网 络 配 置 等 。 


每 一 小 节 会 介绍 一 个 单独 的 Puppet 模 块 ， 每 个 模块 的 内 容 统 一 地 划分 为 1-6 个 部 
分 


e 基础 知识 ”你 在 讲 什么 ? 给 我 讲 讲 基础 先 。 

e 先睹为快 ”拜托 ! 先 别 说 那些 无 聊 的 理论 和 代码 剖析 和 说 教 ，run 起 来 让 我 看 
e 核心 代码 “还 有 这 种 操作 ?老司 机 ， 带 带 我 。 

e 使 用 说 明 ”常见 和 经 典 的 使 用 用 例 

e 小 结 我 们 刚才 都 讲 了 什么 ? 

o RERI 嗯 ， 我 感 党 我 什么 都 明白 了 。 是 吗 ? 来 ， 你 来 握 方 向 盘 。 


在 每 一 节 内 容 里 ， 会 穿插 一 些 重 要 function,resource type,facter 的 使 用 技巧 ， 会 涉 
及 到 一 些 理论 知识 ， 再 扯 一 点 历史 。 


例如 ， 在 puppet-oslo 模块 章节 ， 会 讲 到 为 什么 Puppet 原 生 不 支持 迭代 ， 如 何 去 
实现 。 当 然 ， 为 了 避免 偏离 本 书 主旨 ， 笔 者 会 点 到 为 止 。 如 果 你 对 这 些 分 支 知识 感 
兴趣 的 话 ， 可 以 跳 转 到 本 书 给 出 的 参考 链接 ， 继 续 深 陷 其 中 。 


e 第 二 章 OpenStack 基 础 服务 模块 
o 本 章 概览 


puppet-apache 


1. 先睹为快 
2. 代码 讲解 一 如 何 管理 apache 服 务 
3. 推荐 阅读 
4. 动手 练习 


Apache HTTP Server (简称 Apache) 是 Apache 软 件 基 金 会 的 一 个 开放 源 代 码 的 网 
页 服务 器 软件 ， 可 以 在 大 多 数 电脑 操作 系统 中 运行 ， 由 于 其 跨 平 台 和 安全 性 被 广泛 

使 用 ， 是 最 流行 的 Web 服 务 器 软件 之 一 。 它 快速 、 可 靠 并 且 可 通过 简单 的 API 扩 

充 ， 将 PerlPython 等 解释 器 编译 到 服务 器 中 。 


puppet-apache 模块 是 由 Puppet 公 司 维护 的 官方 模块 ， 提 供 了 完善 的 Apache 管 
理 能 月 已 


puppet-apache 项 目地 址 : https://github.com/puppetlabs/puppetlabs-apache 
在 开始 介 puppet-apache 模块 前 ， 读 者 需 特 别 留意 以 下 : 
WARNING: Configurations not managed by Puppet will be purged. 


对 于 已 存在 的 Apache 服 务 ， 如 果 尝 试 使 用 puppet-apache 模块 进行 管理 ， 请 额外 
小 心 在 默认 情况 下 该 模块 会 清除 所 有 未 被 Puppet 管 理 的 配置 文件 ! 


1.26 85 A T 


不 想 看 下 面 大 段 的 代码 说 明 ， 已 经 跃跃欲试 了 ? 
Ok， 我 们 开始 吧 | 


打开 虚拟 机 终端 并 输入 以 下 命令 
$ puppet apply -ve "include ::apache" 
或 者 创建 一 个 manifest 文 件 test.pp， 并 输入 以 下 代码 : 


class { 'apache': } 


在 终端 下 执行 puppet apply 命令 
puppet apply -v test.pp 


约 1 分 钟 之 后 (取决 于 网 速 和 虚拟 机 的 性 能 ) ，Puppet 已 经 完成 了 Apache 服 务 的 安 
装 ， 配 置 和 启动 了 。 


这 是 如 何 做 到 的 呢 ? 我 们 打开 puppet-apache 模 块 下 manifests/init.pp 文 件 ， 看 看 是 
如 何 做 的 ? 


2. 代 码 讲解 


puppet-apache 模块 当前 支持 的 主要 功能 如 下 : 


e Apache 配 置 文件 和 目录 

e Apache 软 件 包 / 服 务 /配置 文件 
e Apache 的 module 

e 虚拟 主机 (Virtual hosts) 

e 监听 端口 (Listened-to ports) 


2.1 class apache 


class apache 中 有 大 量 的 判断 逻辑 ， 这 些 并 不 是 核心 ， 对 于 一 个 init 类 ， 其 核心 
是 调用 了 哪些 资源 (class > define¥ ) : 


用 于 安装 Apache 软 件 包 


package { 'httpd': 
ensure => $package_ensure, 
name => $apache_name, 
notify => Class['Apache::Service'], 


} 


用 于 管理 conf.d 目 录 ， 注 意 这 个 $purge_confd 参 数 ， 默 认为 true, 会 清理 掉 一 切 未 被 
管理 的 配置 文件 。 


file ( Sconfdsdir: 
ensure => directory, 
recurse => true, 
purge => $purge_confd, 
notify => Class['Apache::Service'], 
require => Package['httpd'], 


用 于 启用 所 有 默认 的 mods 
class { '::apache::default mods': 


all => $default_mods, 


这 里 有 两 个 apache::vhost define， 分 别 用 于 生成 默认 的 80 端 口 和 443 端 口 的 vhost 文 
件 。 


::apache::vhost { 'default': 


ensure -» $default vhost ensure, 
port => 80, 

docroot => $docroot, 

scriptalias => $scriptalias, 
serveradmin => $serveradmin, 


access log file => $access_log_file, 


priority oS 
ip => $ip, 
logroot_mode => $logroot_mode, 


manage_docroot => $default_vhost, 

J 

$ssl access log file - $::osfamily ? ( 
'freebsd' => $access log file, 
default => "ss] $(access log file)", 


} 

::apache::vhost { 'default-ssl': 
ensure => $default_ssl_vhost_ensure, 
port == 0443. 
ssl => true, 
docroot => $docroot, 
scriptalias => $scriptalias, 
serveradmin => $serveradmin, 
access_log file => $ssl_access_log file, 
priority => '15', 
ip => $ip, 
logroot_mode => $logroot_mode, 
manage_docroot => $default_ssl_vhost, 

} 


以 上 代码 示例 用 于 简单 的 测试 验证 ， 若 在 生产 环境 中 ， 请 关闭 默认 生成 的 vhost 文 
件 : 


class ( 'apache': 
default vhost -» false, 


2.2 4c 2 Apache mod 


puppet-apache 支持 使 用 两 种 方式 来 安装 mod 软 件 包 和 管理 mod 配 置 文件 : 


e class apache::mod::«MODEULE NAME» 方式 
e define apache::mod Z X 


其 中 apache::mod::«MODULE NAME» 支持 众多 已 预先 定义 的 Apache mod 的 管 
理 ， 而 define apache::mod 方式 则 可 以 灵活 地 支持 未 在 define 
apache::mod 中 的 mod ° 


2.2.1 class apache::mod::ssl 


"FÉ mod ssl 为 例 进行 说 明 : 
为 了 确保 通讯 安全 ， 会 使 用 HTTPS 来 加 密 通 讯 ， 因 此 需 在 Apache 局 用 mod ssl ° 


e class apache::mod::«MODEULE NAME» 方式 : 


# 开 局 Ssl compression 
class { 'apache::mod::ssl': 
ssl compression -» true, 


j 


e define apache::mod Z X: 


apache::mod ( 'mod_ssl': } 


在 通常 情况 下 ， 使 用 默认 参数 apache::mod::ssl 就 可 以 完成 mod ssl 的 管理 工作 ， 同 
时 也 提供 了 10 个 可 配置 的 参数 : 


e $ssl compression = false 

e $ssl cryptodevice = 'builtin' 

e $ssl options = [ 'StdEnvVars' ] 

e $ssl openssl conf cmd = undef 

e $ssl cipher = 'HIGH:MEDIUM:!aNULL:!MD5:!RC4' 


e $ssl honorcipherorder = 'On 
e $ssl protocol = [ 'all', -SSLv2', '-SSLv3' ] 


e $ssl_pass_phrase_dialog = 'builtin' 
e $ssl_random_seed_bytes = '512' 
e $ssl_sessioncachetimeout = '300' 


需要 注意 的 是 ， 在 使 用 define apache::mod 方式 下 ，Puppet 仅 会 安装 指定 名 称 
的 mod 软 件 包 ， 用 户 需要 手动 完成 对 于 mod 配 置 文件 的 设置 。 


2.2.2 class apache: :mod: :wsgi 


Miei 务 的 所 有 提供 API 接 口 的 组 件 使 用 Python 语言 编写 ，Python 原 生 的 
Web 服 务 器 性 能 较 弱 ， 只 适合 用 于 非 线 上 环境 。 为 了 提 ase 性 能 ， 需 将 
Python Men 运行 在 Apache 上 ， 将 使 用 到 mod wsgi ° 


在 通常 情况 下 ,声明 apache::mod::wsgi 时 使 用 默认 参数 就 可 以 完 
成 mod wsgi 的 安装 和 配置 工作 : 


class { ‘apache: :mod: :wsgi':} 


apache: :mod: :wsgi 也 提供 了 5 个 可 配置 的 参数 ， 其 
中 $wsgi socket prefix 有 默认 值 : 


e $wsgi_socket_prefix = $::apache::params::wsgi_socket_prefix 
e $wsgi_python_path 

e $wsgi_python_home 

e $package_name 

e $mod_path 


2.3 define apache: :vhost 


在 配置 Apache 时 ， 最 常见 的 操作 之 一 就 是 添加 和 修改 虚拟 主机 。 


因此 ， 在 puppet-apache 模块 中 apache: :vhost 是 使 用 最 频繁 的 define， 用 于 
管理 Apache 服 务 的 vhost 配置 文件 。 


2.3.1 配置 一 个 vhost 


最 简单 的 调用 方式 是 在 声明 一 个 apache::vhost 时 ， 只 对 参数 port 和 docroot 传 
值 ， 例 如 : 


apache::vhost { 'vhost.example.com': 


port => '80', 
docroot => '/var/www/vhost', 
} 
2.3.2 配置 开 尼 SSL 的 vhost 


在 线 上 配置 vhost 时 ， 经 常会 使 用 HTTPS 来 确保 Web 访 问 的 安全 性 ， 这 在 puppet 中 
配置 起 来 也 非常 容易 。 在 声明 一 个 apache: :vhost 时 ， 开 局 $ssl 参 数 即 可 : 


apache::vhost { 'ssl.example.com': 


port => '443', 
docroot => '/var/www/ssl', 
ssl => true, 


如 果 要 对 开启 SSL 的 vhost 指定 证 书 路 径 ， 则 在 声明 时 引入 参 
a ssl cert 和 ssl key 


apache::vhost ( 'cert.example.com': 


port => '443', 
docroot => '/var/www/cert', 
ssl => true, 


ssl_cert => '/etc/ssl/cert.example.com.cert', 
ssl_key => '/etc/ssl/cert.example.com.key', 


2.3.3 配置 一 个 WSGI 的 vhost 


下 面 代码 示例 说 明了 如 何 为 vhost 配 置 WSGI mod， 用 于 运行 Python Web 服 务 : 


apache::vhost { 'wsgi.example.com': 


port => '80', 
docroot => '/var/www/pythonapp', 
wsgi_application_group => '%{GLOBAL}', 
wsgi_daemon_process => 'wsgi', 
wsgi_daemon_process_options => { 

processes => '4', 

threads => '24', 

display-name => '%{GROUP}', 
tr 
wsgi_import_script => '/var/www/wsgi.example.com', 


wsgi_import_script_options => { 


process-group => 'wsgi', 
application-group => '%{GLOBAL}', 
tr 
wsgi_process_group => 'wsgi', 
wsgi_script_aliases => { '/' => '/var/www/wsgi.example. cc 





推荐 阅读 


e ServerLimit 

e ServerName 

e ServerRoot 

e ServerTokens 

e ServerSignature 

e Service attribute restart 
e mod wsgi 

e mod ssl 


动手 练习 


1. 使 用 Puppet 搭 建 一 套 LAMP 环 境 (€ : HAP puppet-mysql 结合 使 用 ) 
2. 使 用 Certbot 和 puppet-apache 配置 并 管理 一 个 HTTPS 站 点 
(ik: Certbot 的 说 明 见 https://certbot.eff.org/) 


深入 理解 OpenStack 自 动 化 部 署 


e puppet-apache 

e 1. 先 睹 为 快 

e 2. 代 码 讲解 

2.1 class apache 

o 2.2 配置 Apache mod 

2.2.1 class apache::mod::ssl 


o 


o 


m 2.2.2 class apache::mod::wsgi 
o 2.3 define apache::vhost 

m 2.3.1 配置 一 个 vhost 

m 2.3.2 配置 开启 SSL 的 vhost 

2.3.3 配置 一 个 NSGI 的 vhost 
o 推荐 阅读 
o 动手 练习 


puppet-apache 模 块 
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puppet-memcached 模块 


先睹为快 
.代码 讲解 
.推荐 阅读 
动手 练习 


RON > 


Memcached 是 一 个 高 性 能 的 分 布 式 内 存 对 象 缓 存 系 统 ， 用 于 动态 Web 应 用 以 减轻 

数据 库 负载 ， 最 初 由 LiveJournal 的 Brad Fitzpatrick 开 发 ， 目 前 得 到 了 广泛 的 使 用 。 
它 通 过 在 内 存 中 缓存 数据 和 对 象 来 减少 读 取 数 据 库 的 次 数 ， 从 而 提高 动态 、 数 据 库 
驱动 网 站 的 速度 。 


puppet-memcached Steffen Zieger(saz) 维 护 的 一 个 模块 。 同 时 ， 他 还 维护 
了 puppet-sudo , puppet-ssh 等 模块 。 


puppet-memcached 项 目地 址 : https://github.com/saz/puppet-memcached 


1.7084 Ak 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK， 我 们 开始 吧 | 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e "class { 'memcached': }" 


在 看 到 赏心悦目 的 绿 字 后 ，Puppet 已 经 完成 了 Memcached 服 务 的 安装 ， 配 置 和 局 
动 。 这 是 如 何 做 到 的 呢 ? 


我 们 打开 puppet-memcached 模块 下 manifests/init.pp 文件 来 一 探究 竟 吧 。 


2. 代 码 解 析 


puppet-memcached 模块 的 代码 结构 非常 简洁 ， 所 有 的 工作 都 在 Class 


memcached 中 完成 : 


2.1 Class memcached 


1. 以 下 代码 完成 了 对 Memcached 软件 包 管 理 


package { $memcached::params::package name: 
ensure => $package_ensure, 
provider => $memcached::params::package provider 


if $install_dev { 
package { $memcached::params::dev package name: 
ensure => $package ensure, 
require => Package[$memcached::params::package name] 


此 处 ， 值 得 use 在 package 资源 类 型 中 ， 需 要 重 写 参数 provider 默认 值 
的 情况 并 不 常见 ， 该 参数 用 于 设置 管理 软件 包 的 后 端 ， 常见 的 可 选项 
有 : yum , apt , pip 等 。 


2. 下 述 代码 完成 了 对 Memcached 服务 的 管理 : 


if $service manage { 
service ( $memcached::params::service name: 
ensure -» $service ensure, 
enable -» $service enable, 
hasrestart -» true, 
hasstatus => $memcached::params::service hasstatus, 


在 service 资源 类 型 中 ， 需 要 设置 参数 hasstatus 的 情况 也 并 不 多 见 ， 该 参数 
üben 目标 服务 是 否 具 有 查看 服务 状态 的 脚本 ， 默 认为 true 。 sae N 
件 包 中 并 没有 提供 查看 服务 运行 状态 的 脚本 ， 可 以 添加 status 参数 ， 来 用 于 指定 
一 个 手动 运行 的 命令 : 若 返 回 值 为 0， 则 认为 服务 是 运行 状态 ; 若 返 回 值 非 0， 则 认 

为 服务 是 非 运 行 状态 。 


2.2 memcached_sysconfig.erb 模板 


在 class memcached 中 使 用 了 file 资源 对 Memcached 配置 文件 进行 管理 : 


if ( $memcached::params::config file ) { 
file { $memcached: :params: :config_file: 


owner => 'root', 
group => 'root', 
mode => '0644', 


content => template($memcached::params::config tmpl), 
require => Package[$memcached: :params: :package_name], 
notify => $service_notify_real, 


2.2.1 什么 是 模板 


第 一 次 见 到 了 模板 ( template )， 这 是 Puppet 用 于 管理 配置 文件 的 常用 方法 。 


模板 是 指 含有 可 执行 代码 和 数据 的 特殊 文本 格式 文件 ， 通 过 ; ine 生成 纯 文 本 文 
件 。 使 用 模板 的 目标 就 是 通过 一 些 简单 的 输入 《传递 几 个 参数 ) 就 可 以 产生 复杂 的 
文本 输出 。 


在 memcached::params 中 查询 到 RHEL 下 
的 $memcached::params::config tmpl 值 


为 ${module_name}/memcached_sysconfig.erb ° 


.erb 又 称 为 Embedded Ruby 模板 语言 ，Puppet 可 以 通 
数 template 和 inline template 来 泻 染 模板 文件 。 


下 面 取 自 templates/memcached sysconfig.erb 文件 的 部 分 代码 片段 。 


<%- 
result = [] 
if @verbosity 
result << '-' + @verbosity.to_s 
end 


if @extended_opts 

result << '-o ' + @extended_opts.join(',') 
end 
result << '-t ' + @processorcount.to_s 


# log to syslog via logger 
if @syslog && @logfile.empty? 
result << '2>&1 |/bin/logger &' 

# log to log file 
elsif !@logfile.empty? && !@syslog 

result << '>> ' + @logfile + ' 2>&1' 
end 
-%> 
<%- if scope['osfamily'] != 'Suse' -%> 
PORT="<%= @tcp_port %>" 
USER="<%= @user %>" 
MAXCONN="<%= @max_connections %>" 
<% Puppet::Parser::Functions.function('memcached max memory') -%> 
CACHESIZE="<%= scope.function memcached max memory([Qmax memory]) ? 
OPTIONS="<%= result.join(' ') 95" 
<%- else -%> 
MEMCACHED_PARAMS="<%= result.join(' ') %>" 


MEMCACHED_USER="<%= @user %>" 


<%- end -%> 





2.2.2 模板 标签 


s 


首先 ， 在 ERB 模 板 中 ， 标 签 (tag) 是 一 个 重要 的 概念 。 例 如 : 


e <% CODE %> 以 成 对 出 现 ， 表 示 这 是 一 段 可 执行 代码 

e <%= EXPRESSION %> 以 成 对 出 现 ， 表 示 是 插入 值 的 表达 式 
e <%# COMMENT %> 成 对 出 现 ， 表 示 为 一 段 注释 

e <%% 或 %%> ， 表 示 <% 或 %> 字符 


如 果 在 标签 中 加 入 - 符 ， 则 会 移 除 缩 进 和 换行 。 
在 memcached sysconfig.erb 代码 片段 中 ， 以 下 为 插入 值 的 表达 式 ， 最 终 会 将 


$tcp_port,$user$max_connections 变 量 的 值 插入 到 Memcached 的 配置 文件 中 : 


PORT="<%= @tcp_port %>" 
USER="<%= @user %>" 
MAXCONN="<%= @max_connections %>" 


而 下 述 代 码 则 为 一 段 可 执行 代码 ， 用 于 判断 $osfamily 的 值 是 否 为 'Suse' : 


<%- if scope['osfamily'] != 'Suse' -%> 


2.2.3 模板 变量 


模板 可 以 访问 Puppet 中 的 变量 ， 在 模板 中 访问 变量 时 会 有 一 个 范围 (scope) 的 概 
念 ， 调 用 该 模板 的 class 或 define 中 的 变量 为 该 模板 的 局 部 变量 ， 可 以 直接 使 用 变量 
名 进行 调用 。 

在 ERB 模 板 中 有 两 种 方式 来 访问 变量 : 


e @variable 


e scope['variable' ] 

Qvariable 方式 是 ERB 模 板 中 变量 的 命名 规范 ， 以 @ 开头 ， 用 于 访问 当前 范围 
内 的 变量 。 如 下 述 代码 片段 中 ， 在 泻 染 该 模板 文件 时 ，Puppet 会 在 class 
memcached 中 去 搜寻 与 @tcp_port 对 应 的 $tcp port 变量 ， 查 询 到 该 变量 的 黑 
认 值 是 11211， 最 终 在 /etc/sysconfig/memcached 中 得 到 配置 PORT=11211 ° 


PORT="<%= @tcp_port %>" 


而 scope['variable'] 方式 则 可 以 访问 所 有 的 变量 (包括 当前 范围 以 外 的 ) ， 使 
用 哈 希 风格 的 表达 式 用 于 指定 需要 访问 的 变量 ， 例 如 scope[foo::bar] 如 下 述 代 
码 片 段 中 ，Puppet 将 从 Facter 中 获取 到 变量 $osfamily 的 值 。 


<%- if scope['osfamily'] != 'Suse' -%> 
本 节 对 于 模板 的 介绍 就 到 这 里 ， 后 续 会 再 次 谈 到 模板 。 


推荐 阅读 


e https://docs.puppet.com/puppet/4.10/lang_template_erb.html 
e https://docs.puppet.com/puppet/4.10/lang_template.html 


动手 练习 


1. 将 Memcached 服务 的 默认 进程 数 为 服务 器 核 数 的 一 半 
2. 关闭 puppet-memcached 对 防火 墙 规则 的 管理 


e puppet-memcached/& 2X 

o 1. 先 睹 为 快 

o 2. 代 码 解 析 
m 2.1 Class memcached 
= 2.2 memcached sysconfig.erb7€ 7 
m 2.2.1 什么 是 模板 
m 2.2.2 模板 标签 
m 22.3 模板 变量 

o 推荐 阅读 

o 动手 练习 


puppet-sysctl 模块 


先睹为快 
.代码 讲解 
,扩展 阅读 
动手 练习 


RON > 


sysctl 命令 被 用 时 动态 地 修改 内 核 的 运行 参数 ， 系 统 可 用 的 内 核 参 
数 可 在 目录 /proc/sys 中 查询 。 它 包含 了 一 些 TCP/IP 堆 栈 和 虚拟 内 存 系统 的 高 级 选 
项 ， 这 可 以 让 系统 管理 员 提 vi 统 的 性 能 进行 调 优 。 


本 节 要 谈 的 puppet-sysctl 模块 是 由 个 人 维护 的 项 目 ， 其 目的 是 在 Puppet 中 提供 
管理 sysctl 的 接口 。 


puppet-sysctl 项 目地 址 ; https://github.com/duritong/puppet-sysctl 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK， 我 们 开始 吧 | 
打开 虚拟 机 终端 并 输入 以 下 命令 

$ puppet apply -e 'sysctl::value { "net.ipv4.tcp_syncookies": value 
1 


这 将 开启 内 核 中 的 tcp_syscookieds 参数 ， 常 用 于 抵御 synflood 攻击 。 





我 们 打开 puppet-sysctl 模块 下 manifests/base.pp 文件 来 一 探究 竟 吧 。 


2. 代 码 解 析 


2.1 class sysctl::base 


sysctl::base 是 该 模块 仅 有 的 一 个 类 ， 其 中 的 代码 逻辑 也 非常 简单 ， 仅 
对 /etc/sysctl.conf 文件 的 所 有 者 和 权限 进行 了 管理 。 


class sysctl::base { 
file { '/etc/sysctl.conf': 
ensure => 'present', 
owner => 'root', 
group => '0', 
mode => '0644', 


2.2 define sysctl: :Value 


define sysctl::value 用 于 管理 /etc/sysctl.conf 文件 中 的 配置 项 。 这 里 ， 
有 三 处 值得 展开 解析 。 


define sysctl::value ( 


$value, 

$key = $name, 

$target = undef, 
JEN 


require sysctl: :base 
$val1 = inline_template("<%= String(@value).split(/[\s\t]/).rejec 


sysctl { $key : 
val => $val1, 
target => $target, 


before => Sysctl_runtime[$key], 
} 
sysctl_runtime { $key: 

val => $vali, 





在 define sysctl::value HILT require B&R (注意 :与 require 元 参数 不 
同 )， 该 防 数 可 以 声明 一 个 或 多 个 类 ， 并 与 含有 此 元 数 的 容器 形成 依赖 关系 。 


require sysctl::base 


在 该 例 中 ，Puppet 在 执行 sysct1: :value 实例 前 ， 确 保 class 
sysctl::base 的 所 有 资源 已 被 应 用 。 


2.2.2 inline template 函数 
在 define sysctl::value 中 出 现 了 以 下 一 段 代码 : 
$val1 = inline_template("<%= String(@value).split(/[\s\t]/).rejecti 


Ki _ Ẹ 


inline template S44 template 函数 类 似 ， 可 以 简单 地 认为 是 只 有 一 个 字符 
串 的 模板 。 inline_template 对 模板 求 值 后 ， 生 成 字符 串 ， 常 用 于 复杂 的 字符 串 
拼接 。 





在 前 文中 ， 已 经 提 到 标签 <%= %> 是 插入 值 表 达 式 ， 在 该 表达 式 中 : 首先 
对 $value 做 字符 串 格 式 转换 ， 然 后 以 正则 表达 式 Ns 和 Nt 匹配 进行 字符 串 切 
害 ， 去 除 空 数组 ， 对 数组 flatten 操 作 ， 再 做 字符 串 连 接 。 


达 
达 


2.2.3 自 定 义 资源 类 型 


Puppet 中 有 大 量 内 置 的 资源 类 型 ， 如 user , package 等 等 ， 同 时 用 户 也 可 以 通 
过 规范 进行 扩展 ， 上 述 代码 中 的 sysctl 和 syscyl runtime 是 puppet- 
sysctl 模块 中 自 定义 的 资源 类 型 ， 我 们 会 在 后 文中 详细 讲解 其 代码 结构 和 实现 等 
细节 。 


2.3 class sysctl::values 


sysctl::values 的 代码 同样 也 非常 简洁 ， 主 要 是 对 sysctl::value 进行 了 封 


J+ 


K: 


class sysctl::values($args, $defaults = {}) { 
create_resources(sysctl::value, $args, $defaults) 


2.3.1 create resources 函数 


create resources 函数 接受 一 个 hash 类 型 的 参数 ， 将 其 转换 为 一 个 资源 集合 并 
添加 到 catalog 中 。 这 么 讲 比 较 抽 象 ， 我 们 可 以 来 看 一 个 实际 的 例子 。 


假设 ， 接 到 其 他 部 门 的 需求 ， 需 要 在 线 上 开启 Linux 内 核 的 IP 转 发 功能 ， 要 在 开启 该 
功能 的 节点 上 声明 两 个 sysctl::value 实例 。 


sysctl::value ( 'net.ipv4.ip forward': 
value => 1 


j 


sysctl::value ( 'net.ipv6.conf.all.forwarding': 
value => 1 


然而 ， 在 事前 运 维 工程 师 是 无 法 知道 服务 器 需要 开局 哪些 内 核 参 数 ， 按 照 第 一 章 
的 理解 Hiera 一 节 中 提 到 的 节点 数据 不 应 该 和 节点 数据 放 在 一 起 ， 下 面 看 如 何 借 
BA create resources 苑 数 米 解决 这 个 问题 。 在 节点 定义 文件 中 预先 加 入 


include ::sysctl::values 


接着 在 common.yaml Hieras fF AeA : 


sysctl::values:args: 
net.ipv4.ip forward: 
value: 1 
net.ipv6.conf.all.forwarding: 
value: 1 


现在 只 需要 对 sysctl::values:args 参数 进行 改动 就 能 实现 动态 地 管理 服务 器 上 
的 所 有 内 核 参 数 了 | 


深入 理解 OpenStack 自 动 化 部 署 


3. 扩 展 阅 读 


e https://docs.puppet.com/puppet/latest/function.html#createresources 

e https://docs.puppet.com/puppet/4.10/lang_template.html#with-a-template- 
string-inlinetemplate-and-inlineepp 

e https://docs.puppet.com/puppet/4.10/lang_classes.html#using-require 


4.25 3-25. 7] 


1. 设置 net.ipv4.tcp_timestamps 参数 为 0 
2. 设置 net.ipv4.tcp_rmem 参数 为 4096 131072 131072 (多 个 值 ) 


e puppet-sysctl 模 块 
o 1. 先睹为快 
o 2. 代 码 解 析 
m 2.1 class sysctl::base 
m 2.2 define sysctl::value 
a 2.2.1 require 4 žk 
m 2.2.2 inline_template 24 2 
m 2.3 class sysctl::values 
m 2.3.1 create resources 24 Zk 
o 3.4 KM iz 
o 4. 动 手 练习 


puppet-sysctl 模 块 


puppet-rsync 模块 


先睹为快 
. 代码 讲解 
. 扩展 阅读 
动手 练习 


o 


Rsync (remote sync) 是 一 款 通过 网 络 进 行 数据 同步 的 软件 ， 由 于 Rsync 会 对 需要 
同步 的 源 和 目的 进行 对 比 ， 只 同步 有 改变 的 部 分 ， 所 以 相 比 常见 的 scp 命 令 更 加 高 


puppet-rsync 模块 由 puppet 官 方 维护 的 项 目 ， 用 于 管理 rsync 的 客户 端 、 服务 


器 ， 命 令 行 的 配置 。 puppet-rsync 项 目地 
At : https://github.com/puppetlabs/puppetlabs-rsync 


1.7084 Ak 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK ， 我 们 开始 吧 ! 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e "class { 'rsync': }" 


以 上 命令 会 在 目标 服务 器 上 安装 rsync 软 件 包 。 


接 下 来 ， 我 们 打开 puppet-sysctl 模块 下 manifests/base.pp 文件 来 一 探究 竞 
吧 o 


2. 代 码 讲 解 


2.1 class rsync 


在 class rsync 中 ， 除 了 package 资源 对 rsync 进行 了 声明 以 外 ， 还 有 上 一 
节 提 到 的 create resources 有 函数 ， 分 别传 递 了 rsync::put 和 rsync::get 参 
B o 


class rsync( 


$package ensure - 'installed', 
$manage package - true, 
$puts = {}, 
$gets = {}, 
) í 


if $manage_package { 
package { 'rsync': 
ensure => $package_ensure, 
) -> Rsync::Get<| |» 


create_resources(rsync::put, $puts) 
create_resources(rsync::get, $gets) 


rsync 命 令 行 下 有 两 种 不 同 的 执行 模式 : pull 和 push。 在 puppet-rsync 模块 
中 define rsync::put 对 应 push 模 式 ， define rsync::get 则 对 应 pull 模 式 。 
下 面 来 看 相关 的 两 段 代码 示例 。 


# rsync push X 

rsync::put { '${rsyncDestHost}:/repo/foo': 
user => 'user', 
source => "/repo/foo/", 


#rsync pull 模 式 

rsync::get { '/foo': 
source => "rsync://${rsyncServer}/repo/foo/", 
require => File['/foo'], 


2.2 class: rsync: :server 


class rsync::server 则 用 于 管理 rsync server’ rsync 在 server 模 式 下 以 守护 
进程 存在 ， 能 够 接收 客户 端的 数据 请 求 。 使 用 时 ， 可 以 在 客户 端 使 用 rsync 命 令 把 文 
件 发 送 到 服务 器 端 ， 也 可 以 向 服务 器 请 求 获取 文件 。 class rsync::server 使 用 
xinetd 来 管理 rsync 服 务 ， 使 用 concat 模块 来 管理 rsync 配 置 文件 。 我 们 会 在 下 一 
节 谈 到 puppet-xinetd 模块 。 


class rsync: :server( 
$use_xinetd = true, 


$address = '0.0.0.0', 
$motd file = 'UNSET', 
$use chroot - 'yes', 
$uid = 'nobody', 
$gid = 'nobody', 
$modules = {}, 


) inherits rsync { 


$conf file = $::osfamily ? { 
'Debian' -» '/etc/rsyncd.conf', 
'suse' -» '/etc/rsyncd.conf', 
'RedHat' => '/etc/rsyncd.conf', 
default => '/etc/rsync.conf', 


if $use xinetd { 
include xinetd 
xinetd::service { 'rsync': 


bind -» $address, 

port => '873', 

server => '/usr/bin/rsync', 

server_args => "--daemon --config ${conf_file}", 
require => Package['rsync'], 


concat { $conf_file: } 


concat::fragment { 'rsyncd_conf_header': 
target => $conf_file, 
content => template('rsync/header.erb'), 
order => '00 header', 


在 代码 片段 中 ， 出 现 了 inherits 关键 字 ， 和 与 面向 对 象 编程 中 的 继承 概念 类 似 ， 其 
允许 某 个 指定 类 从 另 一 个 类 中 扩展 其 功能 和 参数 。 


为 了 让 读者 更 易于 理解 ， 称 : 被 继承 的 类 为 RA ， 在 基 类 上 建立 的 新 类 称 为 派生 
类 o 


在 使 用 inherits 关键 字 时 ， 将 产生 以 下 效果 : 


e 当 派 生 类 被 声明 时 ， 基 类 在 此 之 前 自动 被 声明 
e 基 类 成 为 派生 类 的 父 作 用 域 (parent scope)， 派 生 类 将 拥有 基 类 所 有 的 参数 和 
e 派生 类 可 以 重 写 基 类 中 任何 资源 的 属性 


在 此 此 例 中 ， 派 生 类 rsync::server 继承 了 基 类 rsync ， 得 到 了 管理 rsync 软 件 
包 的 package 资 源 ， 得 到 了 $package_ensure 等 参数 ， 若 要 在 rsync::server 中 
使 用 该 参数 ， 则 其 作用 域 为 : $rsync::package_ensure 。 需要 注意 的 
Æ? inherits 的 使 用 需要 说 惯 ， 尤 其 是 多 层 继 承 时 ， 会 严重 影响 代码 的 可 读 性 。 
在 最 住 实 践 中 ， 仅 推荐 用 于 获取 class param 中 的 参数 时 使 用 ， 例 如 : 


class example ( 
String $my param = $example::params::myparam 
) inherits example::params 


{ «+. } 


2.3 define rsync: :server: :module 


rsync: :server::module 用 于 设置 rsync 服 务实 例 ， 代 码 实 现 比较 简单 ， 以 下 看 
一 段 示 例 : class swift::ringserver ， 通 过 声明 
J rsync::server 和 rsync::server::module 来 搭建 同步 ring 文 件 的 rsync 服 务 


ya 
es. 


class swift: :ringserver( 
$local_net_ip, 
$max_connections = 5 


Nit 


include ::swift::deps 
Class['swift::ringbuilder'] -> Class['swift::ringserver'] 


if !defined(Class['rsync::server']) { 
class { '::rsync::server': 
use xinetd -» true, 
address => $local net ip, 
use chroot -» 'no', 


j 
j 
rsync::server::module ( 'swift server': 
path -» '/etc/swift', 
lock_file => '/var/lock/swift_server.lock', 
uid => 'swift', 
gid => 'swift', 
max_connections => $max_connections, 
read_only => true, 


在 rsync::server::module {'swift_server'} 实例 中 ，swift_server 的 路 径 
为 /etc/swift ， 所 有 者 和 所 属 组 是 swift ， 设 置 了 默认 的 最 大 连接 数 ， 设 为 只 
读 权 限 。 


2.4 class rsync::repo 


class rsync::repo 对 rsync::server::module 进行 了 简单 的 封装 ， 为 用 户 创 
建 一 个 存放 数据 的 rsync 人 仓库， 包括 用 于 存放 数据 的 目录 和 rsync 服 务 。 


class rsyne::repo f 
include rsync::server 
$base - '/data/rsync' 
file ( $base: 

ensure => directory, 


} 
# setup default rsync repository 
rsync::server::module { 'repo': 
path => $base, 
require => File[$base], 


3. 扩 展 阅 读 


e 动态 域 的 使 用 https://docs.puppet.com/puppet/5.0/lang_scope.html#dynamic- 
scope 

e 关于 继承 的 使 用 
https://docs.puppet.com/puppet/5.0/lang_classes.html#inheritance 


4. 动 手 练习 


1. 请 说 明 上 述 代码 中 的 $conf file = $::osfamily ? { ...} 的 作用 和 用 法 


2. 搭 建 一 个 用 于 同步 软件 包 的 rsync 服 务 器 ，incoming_chmod 设 为 '0755' > 
outgoing_chmod 设 为 '0644'， 只 读 权 限 。 


e puppet-rsync 模 块 
O 1.25 88 A 快 
o 2. 代 码 讲解 
m 2.1 class rsync 
m 2.2 class: rsync::server 
o 2.3 define rsync::server::module 
o 2.4 class rsync::repo 
3. 扩 展 阅读 
o 4. 动手 练习 


o 


puppet-xinetd 模块 


先睹为快 
.代码 讲解 
,扩展 阅读 
动手 练习 


RON > 


xinetd 是 一 个 运行 于 类 Unix 操 作 系 统 的 开放 源 代码 的 超级 服务 器 ( Super-server ) 
守护 进程 。 它 的 功能 是 管理 网 络 相关 的 服务 。 Xinetd 提 供 类 似 于 
inetd+tcp_wrapper 的 功能 ， 由 于 其 较 高 的 安全 性 ，xinetd 开 始 和 逐渐 取代 inetd 。 
xinetd 监 听 来 自 网 络 的 请 求 ， 从 而 启动 相应 的 服务 。 


puppetlabs-xinetd 模块 是 由 puppet 官 方 维 护 的 项 目 ， 用 于 管理 xinetd 服 务 。 
puppetlabs-xinetd 项 目地 址 : https://github.com/puppetlabs/puppetlabs-xinetd 


1. 先 暑 为 快 
不 想 看 下 面 大 段 的 代码 说 明 ， 已 经 跃跃欲试 了 ? 
Ok， 我 们 开始 吧 | 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e "include ::xinetd" 
命令 执行 完成 后 ，Puppet 完 成 了 对 xinetd 安 装 和 配置 ， 并 启动 了 xinetd 进 程 。 


2. 代 码 讲解 


2.1 class xinetd 


class xinetd 用 于 完成 对 xinetd 的 软件 包 的 安装 、 配 置 文件 的 生成 ~、 服务 的 管 
理 ， 代 码 比 较 简单 ， 这 里 不 再 元 述 。 其 中 值得 一 提 的 是 ， 在 代码 块 的 首 段 是 关于 文 
件 的 资源 声明 语句 ， 其 首 字 母 大 写 的 File ， 这 与 通常 的 file 资源 有 何 区 别 ? 


File { 
owner => 'root', 
group => !Q', 
notify => Service[$service_name], 
require => Package[$package name], 


这 种 以 资源 类 型 的 首 字母 大 写 开 头 并 且 没 有 title 的 声明 方式 称 为 资源 默认 属性 声明 
(Resource default statements) ， 通 过 这 种 方式 可 以 声明 指定 资源 的 默认 属性 。 


在 以 上 代码 中 ， class xinetd 下 所 有 的 文件 资源 的 默认 属性 被 设置 为 : 


e 所 有 者 为 root 

e 所 属 组 为 0( 即 root) 

e 文件 发 生变 化 将 通知 xinetd 服 务 重启 
e 文件 被 管理 前 ， 需 安装 xinetd 软 件 包 


所 以 在 class xinted 出 现 的 其 他 file 资源 的 相关 属性 将 以 上 默认 值 ， 例 如 : 


file { $conffile: 
ensure => file, 
mode => '0644', 
content => template('xinetd/xinetd.conf.erb'), 
} 
# 等 价 于 : 
file { $conffile: 
ensure => file, 
mode => '0644', 
content => template('xinetd/xinetd.conf.erb'), 
owner => 'root', 
group => '0', 
notify => Service[$service_name], 
require => Package[$package_name], 


那么 通过 资源 默认 属性 声明 的 方式 ， 可 以 带 来 两 点 好 处 : 


e 确保 了 相同 资源 默认 属性 的 一 致 性 
e 提高 了 代码 复 用 


需要 注意 的 是 ， 资 源 默 认 属 性 声明 的 作用 范围 很 大 ， 如 果 你 在 某 个 类 中 使 用 了 它 ， 
那么 可 能 会 对 其 他 类 或 者 定义 产生 影响 ， 


因此 ， 最 佳 实践 是 RE site.pp 中 使 用 资源 默认 属性 声明 o 


2.2 define xinetd::service 


回顾 一 下 ， 在 上 一 节 puppet-rsync 模块 中 ， 类 rsync::server # 
了 xinetd::service 定义 ， 用 于 创建 某 个 rsync 服 务 的 xinetd 的 配置 文件 : 


xinetd::service { 'rsync': 


bind -» $address, 
port =>) OS", 
server => '/usr/bin/rsync', 
server_args => "--daemon --config ${conf_file}", 
require => Package['rsync'], 
} 


以 上 代码 在 xinetd 中 创建 [rsync 服务 的 配置 ， 指 定 了 : 


e 服务 的 监听 地 址 


扩展 阅读 
e 资源 默认 属性 声明 https://docs.puppet.com/puppet/4.10/lang_defaults.html 


动手 练习 


1. nagios 是 流行 的 开源 监控 项 目 ， 请 使 用 Puppet 部 署 nagios 服 务 ， 并 且 通 过 
xinted 来 管理 nagios 进 程 。 


参考 链接 : https://github.com/example42/puppet-nagios 


深入 理解 OpenStack 自 动 化 部 署 


e puppet-xinetd 模 块 
o 1. 先 睹 为 快 
o 2. 代 码 讲解 
m 2.1 class xinetd 
m 2.2 define xinetd::service 
o 扩展 阅读 
o 动手 练习 


puppet-xinetd 模 块 
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puppet-rabbitmq 模块 


先睹为快 
. 代码 讲解 
. 扩展 阅读 
动手 练习 


0 


RabbitMQ x RabbitMQ Technologies Ltd 开发 的 AMQP MEM Message 
Queue Protocol) 的 开源 实现 。RabbitMQ 组 件 也 是 此 书 的 重点 章节 ， 因 为 它 与 每 
个 OpenStack 服 务 息息相关 ， 那 么 RabbitMQ 解 决 了 什么 问题 ? 


对 于 一 个 复杂 的 分 布 式 系统 而 言 ， 它 包含 了 大 量 的 组 件 或 者 子 系统 ， 那 么 这 些 组 件 
之 间 是 如 何 进行 通信 的 呢 ? 


分 布 式 系统 ， 顾 名 思 义 ， 其 组 件 是 运行 在 不 同 的 服务 器 上 ， 而 传统 的 应 用 软件 往往 
使 用 管道 ， 信 号 ， 报 文 等 方式 来 解决 进程 间 的 协作 ， 这 些 进程 间 通 讯 IPC 通 常 只 是 
运行 在 单个 操作 系统 上 ， 不 具备 扩展 的 能 力 ; 如 果 使 用 Socket 将 服务 组 件 部 署 到 不 
同 的 服务 器 ， 需 要 解决 以 下 问题 : 


1) 消息 的 发 送 方 和 接收 方 如 何 维持 连接 ， 如 果 连 接 中 断 ， 如 何 处 理 这 期 间 的 已 接 
收 的 数据 ? 


2) 如 何 解 耦 发 送 方 和 接收 方 ? 

3) 如 何 有 效 地 分 发 和 接收 消息 ? 

4) 如 何 实现 消息 处 理 能 力 的 水 平 扩展 ? 

5) 如 何 保 证 接收 方 接收 到 了 完整 ， 正 确 的 数据 ? 


高 级 消息 队列 协议 (AMQP) 解 决 了 上 述 问 题 ， 而 RabbitMQ 用 Erlang 实 现 了 一 个 异 
步 ， 模 块 化 ， 可 扩展 的 高 级 消息 队列 协议 。 


puppet-rabbitmq 是 由 Puppet 官 方 维护 的 模块 ， 用 于 管理 RabbitMQ 服 务 的 安 
* , 配置 o 


puppet-rabbitmq 项 目地 址 ; https://github.com/voxpupuli/puppet-rabbitmq 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 说 明 ， 已 经 跃跃欲试 了 ? 
OK ， 我 们 开始 吧 | 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e "class { 'rabbitmq': }" 


等 待 上 述 命令 执行 完成 ，Puppet 完 成 了 对 RabbitMQ 服 务 的 安装 和 配置 。 


2. 代 码 讲 解 


2.1 class rabbitmq 


class rabbitmq 是 一 个 入 口 类 ， 用 于 声明 当前 模块 中 的 相关 资源 ， 同 时 也 会 包 
含 一 些 逻 辑 判 断 和 声明 ， 如 : 判断 参数 值 类 型 是 否 符合 预期 、 调 用 其 它 类 
(include) 、 继 承 params 类 、 判 断 参数 是 否 启 用 LADP 验 证 等 等 。 


class rabbitmq( 


$admin enable - $rabbitmq::params::admin enable, 
$cluster nodes - $rabbitmq::params::cluster nodes, 
$config - $rabbitmq::params::config, 


$config cluster $rabbitmq::params::config cluster, 


Jinherits rabbitmq::params { 
validate_re($package_apt_pin, '^(|Nd-*)$') 


include '::rabbitmq::install' 


include '::rabbitmq::config' 
include '::rabbitmq::service' 
include '::rabbitmq::management' 


if $admin enable and $service manage { 
include '::rabbitmq::install::rabbitmqadmin' 


rabbitmq plugin ( 'rabbitmq management !': 
ensure => present, 
require => Class['rabbitmq::install'], 
notify => Class['rabbitmq::service'], 
provider => 'rabbitmqplugins', 


Class['::rabbitmq::service'] -> Class['::rabbitmq::install::rat 
Class['::rabbitmq::install::rabbitmqgadmin'] -> Rabbitmq exchan( 





在 代码 块 首 有 一 些 类 似 于 validate re($package apt pin, '^(|Nd4)$') 的 代 
码 ， 其 实 validate re 函数 接收 两 个 参数 : 参数 名 ， 正 则 表达 式 。 用 于 检查 指定 
参数 的 传 入 值 是 否 与 给 定 的 正则 表达 式 匹 配 。 因此， 在 应 用 catalog 前 对 输入 数据 
进行 检查 ， 可 以 提前 发 现 的 用 户 错误 传 参 。 


class rabbitmq 作为 一 个 入 口 类 ， 声 明了 4 个 类 : 


e rabbitma::install 


e rabbitmq::config 
e rabbitmq::service 
e rabbitmq::management 


2.2 class rabbitmq::install 


rabbitmq::install 用 于 管理 RabbitMQ Server 的 软件 部 署 和 配置 , 注意 其 参数 
的 默认 值 是 $rabbitmq::param name 的 格式 ， 说 明 该 类 在 被 声明 时 ， class 
rabbitmq 也 需 同时 被 声明 。 


class rabbitmq::install { 


$package_ensure = $rabbitmq: :package_ensure 
$package_name = $rabbitmq: :package_name 
$package_provider = $rabbitmq: :package_provider 
$package_require = $rabbitmq: :package_require 
$package_source = $rabbitmq: :real_package_source 


package ( 'rabbitmq-server': 
ensure => $package ensure, 
name -» $package name, 
provider => $package provider, 
notify => Class['rabbitmq::service'], 
require => $package_require, 


if $package_source { 
Package['rabbitmq-server'] { 
source => $package_source, 


if $rabbitmq::environment variables['MNESIA BASE'] { 
file ( $rabbitmq::environment variables['MNESIA BASE']: 
ensure -» 'directory', 


owner -» 'root', 

group => 'rabbitmq', 

mode => '9775', 

require => Package['rabbitmq-server'], 
} 


2.3 class rabbitmq::config 


rabbitmq::config 类 用 于 统一 管理 RabbitMQ 服 务 的 目录 和 配置 文件 。 可 能 会 有 
读者 有 疑问 ， 为 什么 要 将 软件 包 的 安装 和 配置 文件 的 管理 分 拆 为 两 个 类 。 原 因 很 简 
单 ， 为 了 代码 可 读 性 ， rabbitmq::config 的 代码 长 度 有 两 百 多 行 ， 若 与 其 他 代 


码 合并 在 一 起 ， 阅 读 起 来 会 非常 痛苦 。 这 也 是 Puppet 的 最 佳 实践 之 一 : 尽 可 能 保 
持 代码 的 简洁 和 可 读 性 。 


Glass fabbatigs -config 
$rabbitmq: :admin_enable 


$rabbitmq::cluster node type 
$rabbitmq::cluster nodes 


$admin enable 
$cluster node type 
$cluster nodes 


$config $rabbitmq: :config 


} 


file { '/etc/rabbitmq': 
ensure => directory, 
owner => 'Q', 
group => 'Q', 
mode => '0644', 

} 

file ( '/etc/rabbitmg/ssl': 
ensure -» directory, 
owner => 'Q', 
group => 'Q', 
mode => '0644', 


2.4 class rabbitmq::service 


rabbitmq::install 和 rabbitmq::config 分 别 完成 了 软件 包 的 安装 、 配 置 文 
件 的 生成 ， 准 备 工作 已 经 完成 ，rabbitmq::service 类 用 于 管理 服务 状态 。 


class rabbitmq: :service( 
Enum[ 'running', 'stopped'] $service_ensure = $rabbitmq: :service_ 


Boolean $service_manage $rabbitmq: :service_ 


$service_name $rabbitmq: :service_ 


) inherits rabbitmg { 


if ($service_manage) { 


if $service_ensure == 'running' { 
$ensure real = 'running' 
$enable real - true 

) else { 
$ensure real = 'stopped' 
$enable real - false 

J 

service ( 'rabbitmq-server': 
ensure => $ensure real, 
enable => $enable real, 


hasstatus => true, 
hasrestart => true, 
name => $service_name, 





读者 可 能 已 经 注意 到 参数 $service_ensure 和 $service_manage 被 声明 了 数据 类 型 ， 
其 中 Boolean 被 称 为 是 数据 类 型 (Data types)， 在 Puppet 中 有 以 下 数据 类 型 : 


e Strings 

e Numbers 

e Booleans 

e Arrays 

e Hashes 

e Regular Expressions 
e Sensitive 

e Undef 

e Resource References 


e Default 


此 外 ，Enum 称 为 是 抽象 数据 类 型 (abstract data types)， 可 以 灵活 地 匹配 /限制 指定 
参数 的 数据 类 型 。 


例如 ， Boolean $service manage 严格 地 限定 了 $service_manage 的 数据 类 型 为 
布尔 型 ， 而 使 用 Optional[String, Boolean] $service_manage 则 可 以 指定 
$service_manage 的 数据 类 型 可 以 是 布尔 型 或 者 字符 串 。 


3. 扩 展 阅 读 


e 数据 类 型 https://docs.puppet.com/puppet/4.10/lang data.html 
e jh 5$ 3E XM https://docs.puppet.com/puppet/4.10/lang_data_abstract.html 


4. 动 手 练习 


1. 默 认 安 装 的 时 候 有 guest 用 户 ， 出 于 安全 考虑 ， 会 删除 此 用 户 ， 请 使 用 puppet- 
rabbitmq 完 成 此 操作 。 2. 如 何 使 用 自 定义 资源 rabbitmq_user 来 创建 用 户 ? 3. 在 
OpenStack 中 ，fanout 类 型 的 队列 应 在 程序 退出 时 删除 ，RabbitMQ 中 可 以 使 用 
Policy 设 置 Queue 的 TTL， 请 使 用 rabbitmq_policy 将 .* 上 所 有 queue 的 ttl 设 置 为 
18000s ° 


e puppet-rabbitmq 模 块 

o 1.2585 A 快 

o 2. 代 码 讲解 
m 2.1 class rabbitmq 
m 2.2 class rabbitma::install 
m 2.3 class rabbitma::config 
m 2.4 class rabbitmq::service 

o 3.4 /& If] is 

o 4.25 4-25 2] 


puppet -firewall 模块 


先睹为快 
.代码 讲解 
. 推荐 阅读 
动手 练习 


RON > 


iptables 是 一 个 配置 ese 行 工具 ， 通 过 设 定 一 些 特殊 的 规则 ， 以 
允许 或 拒绝 数据 包 通 


puppet-firewall 模块 是 由 Puppet 公 司 维护 的 官方 模块 , 用 于 管理 防火 墙 和 其 规 
则 。 该 模块 通过 扩展 自 定义 资源 类 型 来 管理 firewall 规 则 和 iptables chains, 当前 支 
持 iptables 和 ip6tables ^ 


puppet-firewall 项 目地 址 'https://github.com/puppetlabs/puppetlabs-firewall' 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 


先 别 激动 ， 这 个 模块 的 使 用 是 有 风险 的 ， 操 作 不 惯 会 把 自己 也 拒 之 门 外 ， 请 确保 可 
以 通过 除 ssh 外 的 方式 登陆 。 


创建 learn_firewall.pp 文 件 并 编辑 : 


class my_fw::pre { 
Firewall { 
require => undef, 


# Default firewall rules 
firewall { '000 accept all icmp': 
proto => 'icmp', 
action => 'accept', 
}-> 
firewall { '001 accept all to lo interface': 
proto => 'all', 
iniface => 'lo', 


action => 'accept', 
}-> 


firewall { '002 reject local traffic not on loopback interface 


iniface =>, blo", 
proto => 'all', 
destination => '127.0.0.1/8', 
action => 'reject', 

}-> 


firewall { '003 accept related established rules': 
proto => 'all', 
state => ['RELATED', 'ESTABLISHED'], 
action => 'accept', 


class my_fw::post { 
firewall { '999 drop all': 
proto => 'all', 
action => 'drop', 
before => undef, 


class my_fw { 
firewall { '004 Allow inbound SSH': 


dport 2122. 
proto -» tcp, 
action -» accept, 
provider -» 'iptables', 
} 
firewall { '005 Allow inbound HTTP': 
dport => 80, 
proto => tcp, 
action => accept, 
provider => 'iptables', 
} 
} 
Firewall { 


before => Class['my fw::post'], 


ppet-firewallz 2x 


require => Class['my_fw::pre'], 


class { ['my-Trw::pre', 'mycfw--:post', my-Tw |: y 


class { “firewall: } 


8 = 








在 终端 下 输入 以 下 命令 : 

$ puppet apply -v learn_firewall.pp 

在 执行 该 命令 前 ,操作 系统 的 防火 墙 规则 为 空 : 
$ iptables -L 


Chain INPUT (policy ACCEPT) 
target prot opt source destination 


Chain FORWARD (policy ACCEPT) 
target prot opt source destination 


Chain OUTPUT (policy ACCEPT) 
target prot opt source destination 


在 执行 完成 该 命令 后 ， 防 火 墙 规则 发 生 了 以 下 变化 : 


$ iptables -L 


Chain INPUT (policy ACCEPT) 


target 
ACCEPT 
ACCEPT 
REJECT 
ACCEPT 
ACCEPT 
ACCEPT 
ACCEPT 
ACCEPT 
ACCEPT 
ACCEPT 
REJECT 
DROP 


Chain FORWARD (policy ACCEPT) 


target 
REJECT 


prot opt source 


icmp -- 
all -- 
all -- 
all -- 
tcp -- 
tcp -- 
all -- 
icmp -- 
all -- 
tcp -- 
all -- 
all -- 


anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 


prot opt source 


all -- 


anywhere 


Chain OUTPUT (policy ACCEPT) 


target 


| — # 


prot opt source 


2. 代 码 讲 解 


2.1 class firewall 


destination 


anywhere 
anywhere 


loopback/8 


anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 
anywhere 


destination 


anywhere 


destination 


/* Ql 
fea 
/* Ol 
state 
mult: 
mult: 
state 


state 
rejec 
/* 9 


rejec 





firewall 类 用 于 管理 Ilptables 软 件 包 和 服务 ， 会 根据 内 核 类 型 申明 不 同 的 类 进行 


管理 。 


class firewall ( 

$ensure = running, 

$pkg ensure = present, 

$service name - $::firewall::params::service name, 

$package name = $::firewall::params::package name, 
) inherits ::firewall::params { 

case $ensure { 

/^(running|stopped)$/: { 
# Do nothing. 


} 
default: { 
fail("${title}: Ensure value '$[ensurej' is not supported") 
} 
} 
case $::kernel { 
'Linux': { 
class { "${title}::linux": 
ensure => $ensure, 
pkg_ensure => $pkg_ensure, 


service_name => $service_name, 
package name => $package name, 


} 
} 
'FreeBSD': { 
} 
default: { 
fail("${title}: Kernel '${::kernel}' is not currently support 
} 





以 Linux 为 例 ， firewall::linux 会 根据 操作 系统 的 不 同调 用 对 应 的 
firewall::linux::xxx 类 : 


case $::operatingsystem { 
'RedHat', 'CentOS', 'Fedora', 'Scientific', 'SL', 'SLC', 'Ascer 
"Cloudbdinux -, "PSBM', "Oraclebinux' i *OVS-, "OEb', "Amazon". “> 
class { "${title}::redhat": 
ensure => $ensure, 
enable => $enable, 
package name => $package_name, 
service_name => $service_name, 
require => Package['iptables'], 


} 
'Debian', 'Ubuntu': { 
class { "${title}::debian": 

ensure => $ensure, 
enable => $enable, 
package name => $package name, 
service name -» $service name, 
require => Package['iptables'], 


} 





以 RedHat 为 例 ， firewall::linux::redhat 会 根据 操作 系统 和 版 本 的 不 同 跳 转 
到 相应 的 逻辑 。 通 过 这 个 模块 可 以 发 现 ，firewall 类 仅 完成 了 安装 软件 包 和 管 
理 服务 状态 ， 但 要 维护 一 个 支持 多 平台 和 版 本 的 模块 并 非 易 事 ， 需 要 投入 大 量 的 精 
力 进 去 ， 这 也 是 社区 模式 可 以 得 到 众多 公司 认可 的 原因 。 


# RHEL 7 and later and Fedora 15 and later require the iptables-: 
# package, which provides the /usr/libexec/iptables/iptables. init 
# lib/puppet/util/firewall.rb. 


if ($::0peratingsystem != 'Amazon') 
and (($::operatingsystem != 'Fedora' and versioncmp($::operating: 
or ($::operatingsystem == 'Fedora' and versioncmp($::operatings 


service ( 'firewalld': 
ensure -» stopped, 
enable -» false, 


before => Package[$package_name], 


if $package_name { 
package { $package_name: 
ensure => $package_ensure, 
before => Service[$service_name], 


} 
} 
if ($::operatingsystem != 'Amazon') 
and (($::operatingsystem != 'Fedora' and versioncmp($::operating: 
or ($::operatingsystem == 'Fedora' and versioncmp($: :operatings\ 


4 Redhat 7 selinux user context for /etc/sysconfig/iptables is st 
case $::selinux { 
#lint:ignore:quoted_booleans 
'true',true: { 
case $::operatingsystemrelease { 
/^(6|7)N..*/: { $seluser = 'unconfined_u' } 


default: { $seluser = 'system_u' } 
} 
} 
#lint:endignore 
default: { $seluser = undef } 
} 


file { "/etc/sysconfig/${service_name}": 
ensure => present, 


owner => 'root', 

group => 'root', 

mode => '0600', 

seluser => $seluser, 
} 





在 上 述 代 码 中 ， 需 要 理解 以 下 新 知识 点 : 


第 一 点 ， versioncmp 函数 用 于 比较 两 个 版 本 号 并 返回 比较 结果 ， 例 如 : 


$result = versioncmp(a, b) 


第 二 点 ， 要 理解 运算 的 优先 级 顺序 ， 在 上 述 代码 出 现 了 一 段 比较 复杂 的 条 件 语句 : 
if ($::operatingsystem != 'Amazon') 
and (($::operatingsystem != 'Fedora' and versioncmp($: :operating: 
or ($::operatingsystem == 'Fedora' and versioncmp($: :operatings\ 


«| — g 





首先 () 的 优先 级 最 高 ， 因 此 以 下 表达 式 会 优先 进行 计算 : 


e ($:operatingsystem != 'Amazon') 

e (($::operatingsystem != 'Fedora' and versioncmp($::operatingsystemrelease, 
'7.0') >= 0)) 

e ($::operatingsystem == 'Fedora' and versioncmp($::operatingsystemrelease, 
'15') >= 0)) 


其 次 ， == 的 优先 级 等 于 != 高 于 >= 高 于 and 。 最 后 是 最 外 层 的 and/or 运 
算 if statementi and statement2 or statement 3 ， 那 么 其 运算 顺序 是 哪 一 
种 ? 


e if (statement1 and statement2) or (statement 3) 
e if statement1 and (statement2 or statement 3) 


答案 是 前 一 种 ， 因 为 and 的 优先 级 高 于 or 
第 三 点 ， 掌 握 case 条 件 语句 的 语法 。 


case 条 件 语 名 和 if 条 件 语 名 类 似 ， 均 是 选择 其 中 的 一 个 Puppet 代 码 块 进行 执行 ， 但 
其 更 适合 用 于 字符 串 和 数值 的 匹配 。 


case $facts['name'] { 


LATA { include role::case1 ) 
'B', 'C': ( include role::case2 } 
/^(D|E)$/: ( include role::case3 } 
default: { include role::default case } 


2.2 type firewall 


资源 类 型 firewall 用 于 管理 防火 墙 规 则 ， 以 下 举例 说 明 如 何在 丨 实 环 境 中 使 用 该 
RA: 


2.2.1 A apache +t È 80474433 2 


firewall { '100 allow http and https access': 
dport => [80, 443], 
proto => tcp, 
action => accept, 


2.2.2 丢弃 FIN/RST/ACK 包 如 果 没 有 对 应 的 SYN 色 


firewall { '002 drop NEW external website packets with FIN/RST/ACK 


chain => 'INPUT', 

state => 'NEW', 

action => 'drop', 

proto => 'tcp', 

sport => ['! http', '! 443'], 
source z 00 1666 70.070 7 

tcp flags -» '! FIN,SYN,RST,ACK SYN', 


EE 





2.2.3 SNAT 10.1.2.0/24 


firewall { '100 snat for network foo2': 


chain => 'POSTROUTING', 
jump => 'MASQUERADE', 
proto => 'all', 


outiface => 'ethO', 
source => '10.1.2.0/24', 
table => 'nat', 


2.3 type firewallchain 


资源 类 型 firewallchain 用 于 管理 管理 防火 墙 的 规则 链 ， 以 下 举例 说 明 如 何在 站 
实 环境 中 使 用 该 类 型 : 


2.3.1 默认 丢弃 INPUT 链 上 的 包 


firewallchain ( 'INPUT:filter:IPv4': 
ensure -» present, 
policy -» drop, 
before -» undef, 


需要 说 明 的 是 ， 这 个 模块 有 一 定 的 局 限 性 ， 如 只 支持 管理 iptable 和 ip6tables。 此 
外 ， 在 和 Neutron 同 时 使 用 时 会 遇 到 iptable 规 则 的 冲突 问题 。 


3. 扩 展 阅 读 


e 运算 符 优 先 级 
https://docs.puppet.com/puppet/4.10/lang_expressions.html#order-of- 
operations 

e case & tHE 4] 


https://docs.puppet.com/puppet/4.10/lang_conditional.html#case-statements 


4. 动 手 练习 


. 本 章 给 出 的 第 一 个 示例 learn_firewall.pp 存 在 一 些 问题 , 当 修 改 防火 墙 规则 时 ， 
日 的 规则 不 会 被 删除 ， 请 修复 这 个 问题 
. AOpenStack Nova 服 务 编写 firewall 规 则 ， 开 放 相 应 的 服务 端口 


puppet-firewall 模 块 
o 1.25 84 7] IR 
o 2. 代 码 讲解 
m 2.1 class firewall 
m 2.2 type firewall 
m 2.3 type firewallchain 
o 3. 扩 展 阅读 
o 4. 动 手 练习 


puppet -mysql 


先睹为快 
. 代码 讲解 
， 扩展 阅读 
动手 练习 


RON > 


几乎 所 有 OpenStack 核 心 组 件 都 会 用 到 数据 库 组 件 , OpenStack 支 持 的 数据 库 后 端 
有 SQlite, MySQL, PostGreSQL 。 


而 MySQL 是 使 用 最 广泛 的 关系 型 数据 库 管 理 系 统 (Relational Database 
Management System : 关系 数据 库 管理 系统 ), 数据 库 服务 是 OpenStack 的 基础 服 
务 ， 在 部 署 和 维护 OpenStack 集 群 之 前 ， 须 要 了 解数 据 库 相关 的 知识 。 puppet- 
mysql 模块 是 由 Puppet 官 方 所 维护 的 项 目 ， 用 于 管理 MySQL 客 户 端 程序 和 服务 端 
的 配置 ， 以 及 管理 备份 脚本 的 支持 ， 包 括 用 于 管理 MySQL 数 据 库 ， 用 户 ， 授 权 等 的 
自 定 义 资 源 。 


puppet-mysql 项 目地 址 : https://github.com/puppetlabs/puppetlabs-mysql 
1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK ， 我 们 开始 吧 | 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e "class { '::mysql::server': }" 
等 待 终端 完成 命令 执行 后 ， 在 终端 输入 mysql 就 能 直接 连 入 MySQL 服 务 了 。 


2. 代 码 讲 解 


与 其 他 模块 不 同 的 是 ， 在 puppet-mysql 中 并 没有 init.pp 这 个 类 ( 即 class mysql )* 
熟悉 Python 的 读者 知道 在 每 个 Python 模块 中 含有 _ init .py 文件 ， 用 于 将 当前 
目录 注册 为 Python 模块 。 然 而 对 于 Puppet 模 块 来 说 ，init.pp 并 不 是 强制 的 ， 即 使 不 


存在 也 不 会 影响 Puppet 识 别 其 为 Puppet 模 块 。 


2.1 class mysql: :server 


mysql::server 类 用 于 MySQL 服 务 器 端的 部 署 ， 配 置 和 服务 的 管理 ， 以 及 root 用 
户 的 管理 。 这 些 功能 则 是 通过 声明 其 他 类 来 完成 的 。 值 得 注意 的 是 被 申明 的 类 的 命 
名 域 是 mysql::server:: ， 将 与 MySQL 服 务 器 端 相 关 的 类 统一 放 到 了 同 个 目录 
F (manifests/server/) ° 


include '::mysql::server::config' 
include '::mysql::server::install' 
include '::mysql::server::installdb' 
include '::mysql::server::service' 
include '::mysql::server::root_password' 
include '::mysql::server::providers' 

以 上 类 主要 完成 以 下 操作 : 


e 相关 配置 文件 的 安装 
e 软件 包 的 安装 

@ 初始 化 数据 库 
。MySQL 服 务 的 启动 
e root 用户/ 密码 的 设 定 


2.2 class mysql::server::installdb 


class mysql::server::installdb 用 于 MySQL 数 据 库 的 初始 化 工作 ， 它 使 用 了 
自 定义 资源 类 型 mysql datadir 来 完成 数据 库 目录 的 初始 化 : 


mysql datadir { $datadir: 


ensure => 'present', 
datadir => $datadir, 
basedir => $basedir, 
user => $mysqluser, 
log_error => $log_error, 


defaults_extra_file => $_config_file, 


mysql datadir 资源 类 型 实际 调用 了 mysql install db 命令 用 于 完成 数据 库 
目录 的 初始 化 ， 资 源 的 属性 将 被 传 入 作为 该 命令 的 参数 。 
2.3 class mysql: :server: :config 


mysql::server::config 类 用 于 mysql 配 置 文件 和 目录 的 管理 ， 最 核心 的 是 对 
my.cnf 文 件 的 管理 ， 以 下 代码 中 : 


if $mysql::server::manage config file { 
file ( 'mysql-config-file': 


path => $mysql::server::config file, 
content -» template('mysql/my.cnf.erb'), 
mode => '0644', 
selinux_ignore_defaults => true, 


使 用 erb 模 板 的 方式 完成 了 对 my.cnf 文 件 的 管理 ， 关 于 erb 模 板 在 前 面 的 章节 已 经 说 
8] » AERA AU o 
2.3.1 如 何 动态 地 管理 配置 项 ? 


使 用 模板 带 来 的 一 个 缺点 是 不 灵活 : 所 有 的 配置 项 需要 提前 写 入 到 模板 文件 中 ， 而 
模板 不 一 定 能 做 到 包含 所 有 的 配置 项 和 配置 段落 。 


那么 如 何在 生成 配置 文件 时 动态 地 添加 配置 项 呢 ? 


有 多 种 手段 来 实现 这 个 需求 ， 我 们 可 以 先 了 解 puppet-mysql 是 如 何 解决 这 个 问 
题 的 。 


在 mysql::server 类 中 有 一 个 特殊 的 参数 : 


$override options = M. 


# Create a merged together set of options. Rightmost hashes win 
$options = mysql deepmerge($mysql::params::default options, $0ovei 


‘| — d 








参数 $override options 是 一 个 为 空 的 哈 希 字典 ， 
参数 用 于 重 写 MySQL 的 默认 选项 。 参数 $mysql::params::default_options 
一 个 含有 MySQL 配 置 项 默认 值 的 哈 希 字典 


$default_options 


'client' 
EDO ES 
' socket ' 


ty 


'mysqld_safe' 


'nice' 


' log-error' 


"socket ' 


ty 


， 其 默认 值 如 下 : 


=> { 
== "3306", 
=> $mysql::params::socket, 


=> { 


=> KOLP 


=> $mysql::params::log_error, 


=> $mysql::params::socket, 


量 名 称 可 以 判断 ， 


这 是 
是 


mysql_deepmerge 是 由 puppet-mysql 模块 实现 的 自 定义 函数 ， 用 于 对 2 个 哈 布 


字典 执行 合并 操作 。 


例如 : 


$hashi = {'one' 
$hash2 = {'two' 
$merged_hash = 


=> 'dos', 


=> 1, 'two' => 2, 'three' => { 'four' => 4 } } 
HENES => A hive => 5 p 
mysql_deepmerge($hash1, $hash2) 


得 到 的 结果 是 : $merged hash = {'one' => 1, 'two' => 'dos', 'three' => ( 'four' 


ae =>5}} 


TF & > dt Emysql:server::override options 就 可 以 实现 动态 管理 


的 ， 例 如 : 


$override options 
'newsection' - 
'item' => 'value', 


Ww 


A 


这 个 变量 最 终生 成 的 my.cnf 配置 文件 内 容 将 新 增 以 下 配置 


[newsection ] 
item = value 


define mysql: :db 


define mysql::db 用 于 创建 数据 库 ， 以 及 相关 用 户 和 密码 以 及 权限 ， 以 下 是 一 
段 代码 示例 : 


mysql::db { 'mydb': 


user -» 'myuser', 

password -» 'mypass', 

host -» 'localhost', 

grant -» ['SELECT', 'UPDATE'], 


j 


OpenStack 服 务 在 对 其 进行 了 封装 后 使 用 ， 本 书 会 在 后 续 的 puppet- 
openstacklib 章节 中 提 及 。 


3. 扩 展 阅 读 


e 编写 自 定义 函数 
https://docs.puppet.com/puppet/4.10/lang_write_functions_in_puppet.html 


4. 动 于 练习 


1. 阅读 mysql::server::backup 代 码 并 使 用 其 来 实现 数据 库 备 份 脚本 的 管理 
2. 请 使 用 puppet-mysql 模块 创建 数据 库 keystone 


e puppet-mysql 
o 1.488 4 快 
o 2. 代 码 讲解 
m 2.1 class mysql::server 
m 2.2 class mysq|I::server::installdb 
m 2.3 class mysq|l::server::config 
o define mysql::db 


深入 理解 OpenStack 自 动 化 部 署 


m 3. 扩 展 阅读 
um 4. 动 手 练习 


puppet-mysql 模 块 
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puppet-vcsrepo 模块 


1. 先睹为快 
2. 使 用 示例 
3. 动手 练习 


puppet-vcsrepo 是 由 Puppet 公 司 维护 的 官方 模块 ,提供 了 管理 版 本 控制 系统 
(VCS) 的 能 力 ， 如 :git,svn,cvs,bazaar 等 。 puppet-vcsrepo 项 目地 
At : https://github.com/puppetlabs/puppetlabs-vcsrepo 


注 1 vcsrepo 并 不 会 主动 安装 任何 的 ves 软件， 因此 在 使 用 该 模块 前 需要 完成 VCS 
的 安装 。 
注 2 git 是 Puppet 公 司 唯一 官方 支持 的 vcs provider 


1. 先 暑 为 快 
不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK， 我 们 开始 吧 | 


创建 一 个 git.pp 文 件 并 输入 : 


vcsrepo { '/tmp/git repo': 
ensure => present, 
provider -» git, 


} 
打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -v git.pp 
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puppet-vcsrepo 模块 除了 自 定 义 资 源 类 型 vcsrepo 以 外 ， 并 没有 任何 manfests 代 
码 。 因 此 ， 本 节 主 要 介绍 使 用 vcsrepo 来 管理 git 仓 库 。 


例 1: 创建 和 管理 一 个 空 的 git bare 仓 库 : 
vcsrepo { '/path/to/repo': 


ensure -» bare, 
provider -» git, 


1412 : clone/pull— ^repo : 


vcsrepo ( '/path/to/repo': 
ensure => present, 
provider -» git, 
source => 'git://example.com/repo.git', 


例 3 : 48 X branch Xtag : 


注 3 : 默认 vcsrepo 会 使 用 源 仓库 master 分 支 的 HEAD。 若 要 使 用 其 他 分 支 或 指定 
的 commit， 可 以 设置 revision 来 指定 branch 名 称 或 commit SHA 值 或 者 tag 号 


e 指定 Branch: 


vcsrepo { '/path/to/repo': 


ensure => present, 

provider -» git, 

source => 'git://example.com/repo.git', 
revision -» 'development', 

j 


e 指定 SHA : 


vcsrepo { '/path/to/repo': 


ensure 
provider 
source 
revision 


j 


e 指定 tag : 


=> present， 

=> git, 

=> 'git://example.com/repo.git', 

=> '0c466b8a5a45f6cd7de82cO8df2fb4ce1e920a31', 


vcsrepo { '/path/to/repo': 


ensure 
provider 
source 
revision 


j 


-» present, 

-» git, 

-» 'git://example.com/repo.git', 
aoe) dale 2ned. 


例 4 : 保持 repo 为 最 新 代码 : 


vcsrepo { '/path/to/repo': 
ensure => latest, 


provider => git, 


source => 'git://example.com/repo.git', 
revision => 'master', 


例 5 : clone repo， 但 是 跳 过 初始 化 submodule: 


vcsrepo { '/path/to/repo': 


ensure 
provider 
source 
submodules 


=> latest, 

=> git, 

=> 'git://example.com/repo.git', 
=> false, 


PIG : 设置 多 个 source， 必 须 指 定 明 确 的 remote : 


vcsrepo { '/path/to/repo': 
ensure => present, 
provider -» git, 


remote -» 'origin' 
source => { 
'origin' => 'https://github.com/puppetlabs/puppetlabs-vc: 


'other remote' => 'https://github.com/other user/puppetlabs-vc: 
ty 
j 


了 | 





例 7 : 使 用 指定 用 户 的 SSH 密 铀 来 clone repo : 


若 要 使 用 SSH 方 式 连接 到 源码 仓库 ， 推 荐 使 用 Puppet 来 管理 SSH 密 铀 ， 并 使 
用 require 元 参数 来 确保 它们 间 的 执行 顺序 。 


csrepo { '/path/to/repo': 


ensure => latest, 

provider => git, 

source => 'git://username@example.com/repo.git', 
user => 'toto', #uses toto's $HOME/.ssh setup 
require => File['/home/toto/.ssh/id rsa'], 


2.1 Git 支 持 的 特性 和 参数 
特性 : 


e bare_repositories 
e depth 

e multiple_remotes 

e reference_tracking 
e ssh_identity 

e submodules 


@ user 


e depth 
e ensure 


e excludes 


e force 

e group 

e identity 
e owner 

e path 


e provider 
e remote 
e revision 
e source 


@ user 


3.25 FAA 


1. 使 用 vcsrepo 管理 nova 源 码 仓 库 ， 并 使 用 stable/ocata 分 支 
2. 使 用 vcsrepo 管理 一 个 带 有 submodule 的 项 目 ， 并 指定 管理 submodule 


e puppet-vcsrepo 模 块 
o 1.458479 R 
o 2. 使 用 示例 
m 2.1 Git 支 持 的 特性 和 参数 
o 3. 动 手 练习 


puppet -mongodb 模块 


先睹为快 
.代码 讲解 
. 推荐 阅读 
动手 练习 


DD 


MongoDB 是 一 个 基于 分 布 式 文件 存储 的 数据 库 ， 旨 在 为 Web 应 用 提供 可 扩展 的 高 
性 能 数据 存储 解决 方案 。 puppetlabs-mongodb 模块 是 由 Puppet 公 司 维 护 的 官方 
项 目 ， 用 于 管理 MongoDB 服 务 ， 包 括 : 


。 配置 mongodb server( 包 括 不 同 模式 ) 
e 配置 mongodb client 

e 配置 mongos 

e 管理 安装 源 


puppet-mongodb 项 目地 址 : https://github.com/puppetlabs/puppetlabs-mongodb 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK， 我 们 开始 吧 | 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e "include mongodb::server,mongodb::client" -v 


在 看 到 赏心悦目 的 绿 字 后 ，Puppet 已 经 完成 了 MongoDB 服 务 的 安装 ， 配 置 和 启 
动 ， 输 入 mongo 就 可 以 进入 命令 行 界 面 了 。 


2. 代 码 讲解 


2.1 class mongodb 


class mongodb 的 代码 比较 简单 ， 声 明了 class mongodb::server ° 


2.2 class mongodb: :server 


2.2.1 类 包含 和 链 式 箭头 
在 该 类 中 ， 有 一 段 复杂 的 代码 : 


if ($ensure == 'present' or $ensure == true) { 

if $restart { 
anchor { 'mongodb::server::start': } 
-> class { 'mongodb::server::install': } 
# If $restart is true, notify the service on config changes | 
-> class { 'mongodb::server::config': } 
~> class { 'mongodb::server::service': } 
-> anchor { 'mongodb::server::end': } 

) else { 
anchor ( 'mongodb::server::start': ) 
-> class ( 'mongodb::server::install': } 
# If $restart is false, config changes won't restart the sen 
-> class { 'mongodb::server::config': } 
-> class { 'mongodb::server::service': } 
-> anchor { 'mongodb::server::end': } 


} 

} else { 
anchor { 'mongodb::server::start': } 
-> class { '::mongodb::server::service': } 
-> class { '::mongodb::server::config': } 
-> class { '::mongodb::server::install': } 


-> anchor { 'mongodb::server::end': } 


Me 





在 Puppet 中 ,非常 特别 的 一 点 是 : 资源 和 类 的 执行 顺序 并 不 是 由 上 到 下 的 。 其 背后 
是 由 于 Puppet 本 身 的 设计 机 制 产 生 了 这 一 结果 ， 在 此 我 们 不 做 展开 。 


而 链 式 箭头 (chain arrow) 用 于 指定 资源 的 执行 顺序 ， 一 共有 两 种 类 型 的 运算 符 : 


e 序列 箭头 -> ， 左 侧 资源 的 执行 顺序 优 于 右 便 


e 通告 箭头 ~> ， 左 侧 资 源 执行 后 ， 右 侧 资 源 将 会 刷新 


在 mongodb::server 中 ， 若 $restart 为 true， 则 执行 以 下 代码 段 : 


anchor { 'mongodb::server::start': } 
-> class { 'mongodb::server::install': } 
-> Class { 'mongodb::server::config': } 
~> class { 'mongodb::server::service': } 
-> anchor { 'mongodb::server::end': } 


表示 MongoDB 配 置 文件 的 变化 ( mongodb: :server::config ) 将 触发 MongoDB 
Server 端 服务 的 重启 ( mongodb: :server::service )» 


若 $restart 为 false， 则 执行 以 下 代码 段 : 


anchor { 'mongodb::server::start': } 
-> class { 'mongodb::server::install': } 
-> class { 'mongodb::server::config': } 
-> class { 'mongodb::server::service': } 
-> anchor { 'mongodb::server::end': } 


表示 MongoDB 配 置 文件 的 变更 在 管理 MongoDB Server 端 服务 之 前 。 


其 次 ， 在 Puppet 中 并 无 法 通过 include 加 上 链 式 箭头 声明 的 方式 来 指定 类 的 执行 顺 
， 或 者 说 在 类 中 无 法 通过 include 的 方式 包含 (contain) 一 个 类 。 


由 于 include 和 contain 翻 译 成 中 文 都 可 以 理解 为 包含 或 者 含有 ， 从 字面 理解 来 看 比较 
星 涩 ， 我 们 通过 举例 说 明 。 


class fainse 
notify { ‘foo’ = } 


class second { 
notify { 'bar': } 


class classa { 
include first 


class classb { 
include second 


Class['classa'] -> Class['classb' ] 


include classa 
include classb 


无 论 将 两 个 类 之 间 的 执行 顺序 如 何 改变 ， 其 输出 结果 可 能 是 "foo bar" 也 可 能 是 "bar 
foo" ° 


而 anchor 是 解决 这 个 问题 的 方法 之 一 ， 其 格式 通常 如 下 


anchor{'start':} -> class{'new_class':} -> anchor{'end':} 


前 过 这 种 方式 使 得 new_class 类 被 包含 ， 从 而 可 以 指定 类 的 依赖 顺序 。 例 如 : 


anchor { 'mongodb::server::start': } 


-> class { '::mongodb::server::service': } 
-> class { '::mongodb::server::config': } 
-> Class { '::mongodb::server::install': } 
-> anchor { 'mongodb::server::end': } 


} 


其 执行 顺序 是 


1. mongodb::server::service 
2. mongodb::server::config 
3. mongodb::server::install 


在 Puppet 3.4.0 之 前 ， 使 用 anchor 资源 类 型 是 解决 类 包含 类 的 唯一 方法 。 


在 Puppet 3.4.0 之 后 ， 新 增 了 函数 contain 的 方法 来 解决 这 个 问题 。 但 在 使 用 contain 
声明 多 个 class 时 ， 无 法 和 anchor 一 样 同 时 配合 链 式 箭头 使 用 ， 而 需要 单独 声明 。 
如 : 


class a { 
notify { 'a':} 
} 
class b { 
notify { 'b':} 
J 
class include class ( 
contain a 
contain b 
Class['a']-»Class['b'] 
} 


2.2.2 
MongoDB 分 为 三 种 模式 : StandAlone ，Replication 和 Sharding。 


StandAlone 是 标准 单机 环境 ，Replication 是 主 从 结构 ， 一 个 Primary， 多 个 
Secondary，Sharding，share pee 告 构 ， 每 台 机 器 只 存 一 部 oe o 
mongod 服 务 器 存 数 据 ，mongos 服 务 器 负责 路 由 读 写 请 求 ， 元 数据 存在 config 数 据 
库 中 。 

创建 MongoDB server 时 可 以 设置 为 config server 或 者 shard server， 对 应 的 参数 为 


configsvr 或 shardsvr， 但 是 只 能 选择 其 一 。 


同时 ， 在 mongodb::server 中 可 以 通过 replsats EC R3 8l | 本 集 的 名 称 ， 
replset_config 或 replset_members 指 定 副本 集中 的 成 员 ， 当 然 replset_ NO 
是 要 转换 为 replset _config 的 。 


$replset_config_REAL = { 
"${replset}" => { 
'ensure' -» 'present', 
'members' => $replset members 


2.3 class mongodb::client 


mongodb::client A T €MongoDBZ P 3m > # 81 f mongodb::client::install > 
其 代码 结构 和 mongodb::server 相 似 。 


2.4 class mongodb: :db 


class mongodb::db 用 于 创建 MongoDB 数 据 库 ， 创 建 数据 库 时 可 以 传 入 密码 或 
者 是 一 个 hash 的 密码 ， 调 用 方式 如 下 


mongodb::db { 'testdb': 
user => 'user1', 
4 password hashX'useri:mongo:passi' jmd54& 
password hash => 'ad5fbfca5e3a758be80ceaf42458bcd8', 


2.5 class mongodb: :mongos 


a :mongos 用 于 配置 Mongo Shard 进 程 ， 其 代码 结构 和 mongodb::server 相 
似 ， Ë install ` config ` service= “class # At & mongos, E 3X * FF SEE © 


2.6 class mongodb: :repo 


class mongodb::repo 用 于 配置 安装 源 ， 也 支持 通过 repo_location 参 数 自己 配置 
安装 源 a 


3.4" /& X] is: 


深入 理解 OpenStack 自 动 化 部 署 


e Containment https://docs.puppet.com/puppet/4.10/lang_containment.html 

e What is Class containment https://puppet.com/blog/class-containment-puppet 

e Relationships and orderings 
https://docs.puppet.com/puppet/5.0/lang_relationships.html#syntax-chaining- 
arrows 


4.25 3-25. 7] 


1. 配置 一 个 mongo 集 群 ， 使 用 Replication 模 式 
2. 配置 一 个 mongo 集 群 ， 使 用 sharding 模 式 


e puppet-mongodb 模 块 

o 1. 先 睹 为 快 

o 2. 代 码 讲解 
m 2.1 class mongodb 
m 2.2 class mongodb::server 
m 2.3 class mongodb::client 
m 2.4 class mongodb::db 
m 2.5 class mongodb::mongos 
m 2.6 class mongodb::repo 

o 3. 扩展 阅读 

o 4. 动 手 练习 


puppet-mongodb 模 块 106 


puppet-ceph 


. Ceph 基 本 结构 

. Ceph 基 本 组 件 

. CRUSH 机 制 

. puppet-ceph 部 署 

. puppet 执 行 过 程 分 析 

小 结 

. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : BR 


NOOR WD 一 


建议 阅读 时 间 2 小 时 


Ceph 是 一 个 分 布 式 存储 系统 ， 诞 生 于 2004 年 ， 是 最 早 致力 于 开发 下 一 代 高 性 能 分 
布 式 文件 系统 的 项 目 。 随 着 云 计 算 的 发 展 ，ceph 乘 上 了 OpenStack 的 春风 ， 进 而 成 
为 了 开源 社区 受 关 注 较 高 的 项 目 之 一 。 


Ceph E £4 


深入 理解 OpenStack 自 动 化 部 署 


APP 


RADOSGW 


A bucket-based 
REST gateway, 
compatible with S3 
and Swift 


HOST/VM 


RBD 


A reliable and fully- 
distributed block 
device, with a Linux 
kernel client and a 
QEMU/KVM driver 


CLIENT 


CEBPHTES 


A POSIX-compliant 
distributed file 
system, with a 
Linux kernel client 
and support for 


FUSE 





自 下 向 上 ， 可 以 将 Ceph 系 统 分 为 四 个 层次 : 


1. 基 础 存储 系统 RADOS (Reliable, Autonomic, Distributed Object Store， 即 可 靠 
的 、 自 动 化 的 、 分 布 式 的 对 象 存储 ) RADOS 本 身 也 是 分 布 式 存储 系统 ，CEPH 所 
有 的 存储 功能 都 是 基于 RADOS 实 现 ,RADOS 由 大 量 的 存储 设备 节点 组 成 ， 每 个 节点 
拥有 自己 的 硬件 资源 (CPU、 内 存 、 硬 盘 、 网 络 ) ， 并 运行 着 操作 系统 和 文件 系 


2. 基 础 库 librados 这 一 层 的 功能 是 对 RADOS 进 行 抽象 和 封装 ， 并 向 上 层 提供 AP|， 
以 便 直 接 基 于 RADOS (而 不 是 整个 Ceph ) 进行 应 用 开发 。 


3. 高 层 应 用 接口 这 一 层 包 括 了 三 个 部 分 : RADOS GW (RADOS Gateway) ^ 

RBD (Reliable Block Device) 和 Ceph FS (Ceph File System) ， 其 作用 是 在 

librados 库 的 基础 上 提供 抽象 层次 更 高 、 更 便于 应 用 或 客户 端 使 用 的 上 层 接 口 。 其 
中 ，RADOS GW 是 一 个 提供 与 Amazon S3 和 Swift 兼容 的 RESTful API 的 gateway > 
以 供 相 应 的 对 象 存 储 应 用 开发 使 用 。RADOS GW 提 供 的 API 抽 象 层次 更 高 ， 但 功能 
则 不 如 librados 强 大 。 因 此 ， 开 发 者 应 针对 自己 的 需求 选择 使 用 。 RBD 则 提供 了 一 
个 标准 的 块 设备 接口 ， 常 用 于 在 虚拟 化 的 场景 下 为 虚拟 机 创建 volume。 目 前 ，Red 
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Hat 已 经 将 RBD 了 驱动 ta > 以 提高 虚拟 机 访问 性 能 。Ceph FS 是 一 


个 POSIX 兼 容 的 分 布 式 文件 系统 。 由 于 还 处 在 开发 状态 ， 因 而 Ceph 官 网 并 不 推荐 
将 其 用 于 生产 环境 中 
4. 应 用 层 这 一 层 就 是 不 同 场景 下 对 于 Ceph 各 个 应 用 接口 的 各 种 应 用 方式 ， 例 如 基 


于 librados 直 接 开 发 的 对 象 存储 应 用 ， 基 于 RADOS GW 开 发 的 对 象 存储 应 用 ， 基 于 
RBD 实 现 的 云 硬 盘 等 等 。 


Ceph 基 本 组 件 


e Osd 用 于 集群 中 所 有 数据 与 对 象 的 存储 。 处 理 集群 数据 的 复制 、 恢 复 、 回 填 、 
再 均衡 。 ie pad d ， 然 后 向 Mon 提 供 一 些 监控 信息 。 

e Monitor 监控 整个 集群 的 状态 ， 维 护 集群 的 cluster MAP 二 进 制 表 ， 保 证 集群 数 
eee. 。ClusterMAP 描 述 了 对 象 块 存储 的 物理 位 置 ， 以 及 一 个 将 设备 聚合 
到 物理 位 置 的 桶 列表 。 

e MDS(T 2%) 为 Ceph 文 件 系统 提供 元 数据 计算 、 缓 存 与 同步 。 在 ceph 中 ， 元 数 
据 也 是 存储 在 osd 节 点 中 的 ，mds 类 似 于 元 数据 的 代理 缓存 服务 器 。 a AZ 
并 不 是 必须 的 进程 ， 只 有 需要 使 用 CEPHFS> 时 ， 才 需要 配置 MDS 节 


CRUSH 机 制 


引入 CRUSH 的 目的 


为 了 去 中 心 化 ， 避 免 单 点 故障 ，Ceph 使 用 了 CRUSH (Controlled Replication 
Under Scalable Hashing) 算法 ， 客 户 端 根据 它 来 计算 数据 被 写 到 哪里 去 ， 以 及 从 
哪里 读 取 所 需 数据 。 


理解 CRUSH 机 制 


对 Ceph 集 群 的 一 个 读 写 操作 ， 客 户 端 首先 访问 Ceph monitor 来 获取 cluster map 的 
一 分 副本 ， 它 包含 五 个 map, 分 别 是 monitor map ` OSD map ` MDS map ` 
CRUSH map 和 PG map. 


客户 端 通过 这 些 cluster mape HECeph KZŽ 89 4X A Fe BG E. o 38 x CRUSH ATT HH 
或 获取 数据 的 主 (primary) 、 次 (secondary) 和 再 次 (tertiary) OSD 的 位 置 。 


所 有 这 些 计算 操作 都 是 在 客户 端 完成 的 ， 因 此 它们 不 会 影响 Ceph 集 群 服务 器 端的 性 


能 2 
每 个 map 的 简介 如 下 : 


e monitor map: 它 包含 监视 节点 端 到 端的 信息 ， 包 括 Ceph 和 集群 ID、monitor 节 点 
名 称 (hostname) 、IP 地 址 和 端口 号 等 。 它 还 保存 自 monitor map 被 创建 以 来 
的 最 新 版 本 号 (epoch: 每 种 map 都 维护 着 其 历史 版 本 ， 每 个 版 本 被 称 为 一 个 
epoch，epoch 是 一 个 单调 递增 的 序号 ) ， 以 及 最 后 修改 时 间 等 。 
查看 monitor map 命令 : ceph mon dump 

e OSD map: 它 保存 一 些 常 用 的 信息 ， 包 括 集群 ID、OSD map 自 创建 以 来 的 最 新 
版 本 号 (epoch) 及 其 最 后 修改 时 间 ， 以 及 存储 池 相 关 的 信息 ， 包 括 存储 池 名 
称 、ID、 类 型 、 副 本 级 别 (replication level) 和 PG。 它 还 保存 着 QSD 的 信 
息 ， 比 如 数量 、 状 态 、 权 重 、 最 后 清理 间隔 (last clean interval) 以 及 OSD 节 
点 的 信息 
4& AOSD map 命 令 : osd dump 

e PG map: 它 保存 的 信 ， o » KR ^ OSD map 的 最 新 版 本 号 


(epoch) 、 容 量 已 满 百分比 ， 容 量 将 满 百 分 比 等 。 它 还 记录 了 每 个 PG 的 ID、 
对 象 数量 、 状 态 、 状 态 时 间 戳 、up OSD sets ` acting OSD sets, 以 及 清理 的 信 
BÉ. o 


查看 PG map 命令 : ceph po dump 
e CRUSH map: 它 保存 id 息 包括 集群 设备 列表 、bucket 列 表 、 故 障 域 分 
构 、 EON o 
4 CRUSH map 命令 : ceph osd crush dump 
e MDS map: 它 保存 d 息 包 括 MDS map 当 前 版 本 号 (epoch) ^ MDS map 的 创 
建 和 修改 时 间 、 数 据 和 元 数据 存储 池 的 ID、 集 群 MDS 数 量 以 及 MDS 状 态 。 
查看 MDS map 命令 : ceph mds dump 


CRUSH Map 的 内 容 


CRUSH 算 法 通过 计算 数据 存储 位 置 来 确定 如 何 存储 和 检索 。 CRUSH 授权 Ceph 
客户 端 直接 连接 OSD ， 而 非 通过 一 个 中 央 服 务 器 或 经 纪 人 。 数 据 存 储 、 检 索 算 法 
的 使 用 ， 4% Ceph 3& ft, 1 3e S SCIRE ^ PE SEXULAR Se p a 05 0 FETU] e 


CRUSHA & OSD 列表 、 把 设备 汇聚 为 物理 位 置 的 “ 桶 "列表 和 指示 CRUSH 如 何 
复制 存储 池 里 的 数据 的 规则 列表 。 


CRUSH 图 主要 有 4 个 主要 段落 : 


1. 设 备 


设备 的 格式 : 


#devices 
device {num} {osd.name} 


2. 桶 类 型 : 定义 了 CRUSH 分 级 结构 里 要 用 的 桶 类 型 (types) 如 : 
# types 
type 0 osd 
type 1 host 
type 2 chassis 
type 3 rack 
type 4 row 
type 5 pdu 
type 6 pod 
type 7 room 
type 8 datacenter 
type 9 region 
type 10 root 
3. 桶 例 程 : 定义 了 桶 类 型 后 ， 还 必须 声明 主机 的 桶 类 型 、 以 及 规划 的 其 它 故障 域 。 
格式 : 


[bucket-type] [bucket-name] { 


id [a unique negative numeric ID] 

weight [the relative capacity/capability of the item(s) ] 
alg [the bucket type: uniform | list | tree | straw ] 
hash [the hash type: © by default] 

item [item-name] weight [weight] 


Ceph 支持 四 种 桶 ， 每 种 都 是 性 能 和 组 织 简 易 间 的 折衷 。 如 果 你 不 确定 用 哪 种 桶 ， 
我 们 建议 straw 。 关 于 桶 类 型 的 详细 讨论 请 参 
考 http://docs.ceph.org.cn/rados/operations/crush-map 


各 个 桶 都 用 了 一 种 哈 希 算法 ， 当 前 Ceph 仅 支持 rjenkins1 ， 输 入 0 表示 哈 希 算法 
设置 为 rjenkins1 ° 


例子 如 下 : 


rack 
Bucket 







host 
Bucket 
osd osd 

Bucket Bucket 


定义 的 桶 例 程 为 : 


host 
Bucket 
osd osd 

Bucket Bucket 





host node1 { 
id -1 
alg straw 
hash 0 
item osd.0 weight 
item osd.1 weight 


} 

host node2 { 
id -2 
alg straw 
hash 0 


item osd.2 weight 
item osd.3 weight 


} 

rack rack1 { 
id -3 
alg straw 
hash 0 


item node1 weight 
item node2 weight 


此 例 中 ， 机 柜 桶 不 包含 任何 OSD 
重 之 和 


4. 规 则 : 由 选择 桶 的 方法 组 成 。 


规则 格式 如 下 : 


. 00 
. 00 


. 00 
. 00 


. 00 


ERA 


4 


低 一 级 的 主机 桶 、 以 及 其 内 条 目的 权 


rule <rulename> { 


ruleset <ruleset> 

type [ replicated | erasure ] 

min_size <min-size> 

max size <max-size> 

step take «bucket-type» 

step [choose|chooseleaf] [firstn|indep] <N> <bucket-type> 
step emit 


加 
各 字段 含义 如 下 : 
4.1ruleset 


描述 : 区 分 一 条 规则 属于 某 个 规则 集 的 手段 。 给 存储 池 设 置 规则 集 后 激活 。 
目的 : 规则 掩 码 的 一 个 组 件 。 

类 型 : Integer 

是 否 必 需 : Yes 

默认 值 : 0 


4.2type 


描述 : 为 硬盘 (RHA) A RAD 写 一 条 规则 。 
目的 : 规则 掩 码 的 一 个 组 件 。 

类 型 : String 

是 否 必 需 : Yes 

BAUME: replicated 

合法 取 值 : 当前 仅 支 持 replicated 和 erasure 


4.3min_size 


描述 : 如 果 一 个 归 置 组 副本 数 小 于 此 数 ，CRUSH 将 不 应 用 此 规则 。 
类 型 : Integer 

目的 : 规则 掩 码 的 一 个 组 件 。 

是 否 必 需 : Yes 

BRU M: 1 


4.4max_size 


Wik: 如 果 一 个 归 置 组 副本 数 大 于 此 数 ，CRUSH 将 不 应 用 此 规则 。 
be Integer 


E 89: 规则 掩 码 的 一 个 组 件 。 
是 否 必 需 : Yes 
默认 值 : 10 


4.5step take 


描述 : 选取 桶 名 并 迭代 到 树 底 。 
E $$: 规则 掩 码 的 一 个 组 件 。 
是 否 必 需 : Yes 

实例 : step take default 


4.6step choose firstn {num} type {bucket-type} 


di: 选取 指定 类 型 桶 的 数量 ， 这 个 数字 通常 是 存储 池 的 副本 数 〈 即 pool size 
ja 
{num} == 0 选择 pool-num-replicas 个 桶 (所 有 可 用 的 ) ; 

如 果 {num} > 0 && < pool-num-replicas 就 选择 那么 多 的 桶 ; 

如 果 {num} < 0 它 意 为 pool-num-replicas - (num) ° 
目的 : 规则 掩 码 的 一 个 组 件 。 
先决 条 件 : 跟 在 step take 或 step choose 之 后 。 
实例 : step choose firstn 1 type row 


4.7step chooseleaf firstn {num} type {bucket-type} 
描述 : 选择 {bucket- type} 类 型 的 一 堆 桶 ， 并 从 各 桶 的 子 树 里 选择 一 个 叶子 节 
点 。 集 合 内 桶 的 数量 通常 是 存储 池 的 副本 数 (FP pool size ) ° 
如 果 {num} == 0 选择 pool-num-replicas 个 桶 (PTA TAA) ; 
如 果 {num} > 0 && < pool-num-replicas 就 选择 那么 多 的 桶 ; 
如 果 {num} < 0 它 意 为 pool-num-replicas - inem o 
目的 : 规则 掩 码 的 一 个 组 件 。 它 的 使 用 避免 了 通过 两 步 来 选择 一 设备 。 
先决 条 件 : Follows step take or step choose. 
4.8step emit 
描述 : 输出 当前 值 并 清空 堆栈 。 通 常用 于 规则 末尾 ， 也 适用 于 相同 规则 应 用 到 
不 同 树 的 情况 。 
目的 : 规则 掩 码 的 一 个 组 件 。 


先决 条 件 : Follows step choose. 
3: f|: step emit 


较 新 版 本 的 CRUSH (4.0.48 起 ) 为 了 解决 一 些 遗 留 值 导致 几 个 不 当 行 为 ， 在 最 
前 面 加 入 了 一 些 参 数值 。 


一 个 例子 如 下 : 


# begin 
tunable 
tunable 
tunable 
tunable 
tunable 


# devic 
device 
device 
device 


# types 
type 0 
type 1 
type 2 
type 3 
type 4 
type 5 
type 6 
type 7 
type 8 
type 9 
type 10 


# bucke 
host se 


crush map 

choose local tries 0 # 本 地 重 试 次 数 。 以 前 是 2 ， 最 优 值 是 9 。 
choose_local fallback_tries 0 # 以 前 5 ， 现 在 是 0 

choose total tries 50 # 选 择 一 个 条 目的 最 大 尝试 次 数 。 以 前 19 ， 后 来 
chooseleaf descend once 1 # 是 否 重 递归 叶子 选择 ， 或 只 试 一 次 、 并 允许 
straw_calc_version 1 


es 

© osd.0 
1 osd.1 
2 osd.2 


osd 
host 
chassis 
rack 
row 
pdu 
pod 
room 
datacenter 
region 
root 


ts 

rver-250 ( 

id -2 # do not change unnecessarily 
# weight 2.160 

alg straw 

hash 0 # rjenkinsi 

item osd.0 weight 0.720 


item osd.1 weight 0.720 
item osd.2 weight 0.720 


} 
root default { 
id -1 # do not change unnecessarily 
# weight 2.160 
alg straw 
hash © # rjenkinsi 
item server-250 weight 2.160 
} 
# rules 


rule replicated_ruleset { 
ruleset 0 
type replicated 
min_size 1 
max_size 10 
step take default 
step chooseleaf firstn © type osd 
step emit 


# end crush map 


E — 





如 何 编辑 CRUSH map 


1. 从 任意 一 个 monitor 节 点 上 获取 CRUSH map 
ceph osd getcrushmap -o crushmap 

2. 反 编译 它 ， 让 它 成 为 我 们 能 阅读 的 格式 
crushtool -d crushmap -o crushmap.txt 


3. 修 改 相应 的 内 容 


vim crushmap.txt 


4. 重 新 编译 


crushtool -c crushmap.txt -o newcrushmap 


5. 将 重新 编译 的 CRUSH map 注 入 Ceph 和 集群 


ceph osd setcrushmap -i newcrushmap 


puppet-ceph 部 署 

Ceph 集 群 有 多 种 部 署 方式 ， 诸 如 Ansible、Puppet 和 Chef 等 配置 管理 工具 都 可 以 按 
照 你 喜欢 的 方式 来 安装 和 部 署 Ceph 和 集群。 这 里 我 们 只 介绍 Puppet 的 部 署 方式 。 
准备 工作 

在 puppet master module 目 录 下 下 载 puppet-ceph 模 块 ， 下 载 地 址 

A https://github.com/openstack/puppet-ceph/tree/stable/hammer 
openstack/puppet-ceph 1% Jt] cephhk AA hammer 

此 例 中 ， 我 们 部 署 一 个 mon 节 点 ， 两 个 osd 节 点 ，hostname 分 别 为 : test-ceph- 
1,test-ceph-2,test-ceph-3 

部 署 指南 


各 节点 加 载 的 类 : 


node 


/^test-ceph-1$/ { 


$ceph_pools = ['test'] 
ceph::pool { $ceph_pools: } 
class { '::ceph::profile::mon': } 
} 
node /Atest-ceph-[2-3]$/ { 
class { '::ceph::profile::osd': } 
j 
ft t] hieradata: 


common/ceph.yaml: 


######## Ceph 


ceph 


::profile::params::release: 'hammer' 


THHHHHHHE Ceph.conf 


ceph: 
ceph: 
ceph: 
ceph: 
ceph: 


:profile::params::fsid: '4b5c8c0a-ff60-454b-a1b4-9747aa737d19 
:profile::params::authentication type: 'cephx' 
:profile::params::mon initial members: 'test-ceph-1' 
:profile::params::mon host: '10.0.86.23:6789' 
:profile::params::osd pool default size: '2' 


THHHHHHHE Keys 


ceph 
ceph 
ag 


^e 


::profile::params::mon_key: 'AQATGHJTUCBqIBAA7M2yafVixctnipgr3( 
::iprofile::params::client keys: 

lient.admin': 

secret: 'AQATGHJTUCBqIBAA7M2yafVAixctnipgr3GcKPg--' 

mode: '0600' 

cap mon: 'allow *' 

cap osd: 'allow *' 

cap mds: 'allow *' 

lient.bootstrap-osd': 

secret: 'AQATGHJTUCBqIBAA7M2yafVixctnipgr3GcKPg--' 
keyring path: '/var/lib/ceph/bootstrap-osd/ceph.keyring' 
cap mon: 'allow profile bootstrap-osd' 











test-ceph-2.yaml: 
ceph: :profile::params: :osds: 


'/dev/sdb': 
journal: 


test-ceph-3.yaml: 


ceph: :profile: :params: :osds: 


'/dev/sdc': 
journal: '' 
参数 说 明 


puppet 会 执行 ceph-disk prepare /dev/sdc ， 如 果 journal 为 室 ， 它 会 把 自动 把 这 块 
盘 分 成 两 个 分 区 ,一 个 为 ceph data ,一 个 为 ceph journal。journal 分 区 大 小 默认 为 
5G， 剩 下 的 都 分 给 ceph data. 


Journal 的 作用 类 似 于 mysql innodb 引 擎 中 的 事物 日 志 系 统 。 当 有 突 发 的 大 量 写 入 操 
作 时 ，ceph 可 以 先 把 一 些 零散 的 ， 随 机 的 IO 请 求 保 存 到 缓存 中 进行 合并 ， 然 后 再 统 
一 向 内 核发 起 ID 请 求 。journal 的 io 是 非常 密集 的 ,很 大 程度 上 也 损耗 了 硬件 的 io 性 
能 ， 所 以 通常 在 生产 环境 中 ， 推 荐 使 用 Ssd 来 单独 存储 journal 文件 以 提高 ceph 读 写 


PAG 
Aw ? 


iz 


journal 也 可 以 使 用 单独 的 数据 盘 ， 只 需要 在 hieradata 中 传递 相应 的 设备 名 即 可 。 


openstack/puppet-ceph 传 osds 参 数 不 支 持 wwn 的 方式 ,因为 ceph-disk 当 前 不 支持 使 
用 wwn 来 作为 磁盘 标识 的 输入 参数 。 


如 果 重 局 了 mon 节 点 ， 需 要 执行 : 


service ceph start mon.server-250 


如 果 重 局 了 osd 节 点 ， 需 要 执行 : 


ceph-disk activate-all 


activate-all 靠 /dev/disk/by-parttype-uuid/$typeuuid.$uuid 发 现 所 有 分 区 


parttype-uuid 是 在 执行 activate-prepare 时 生成 的 。 通 过 parttypeuuid， 在 本 机 插 拔 
osd 瘟 完全 不 会 导致 故障 。 


puppet 执 行 过 程 分 析 


创建 mon 的 大 致 过 程 如 下 : 


1. 安 装 包 


package { $::ceph::params::packages : 
ensure => $ensure, 
tag => 'ceph' 


.是 否 开 启 认证 


# [*authentication_type*] Activate or deactivate authentication 
# Optional. Default to cephx. 
# Authentication is activated if the value is 'cephx' and deacti 
# if the value is 'none'. If the value is 'cephx', at least one « 
# key or keyring must be provided. 
if $authentication_type == 'cephx' { 
ceph_config { 
'global/auth cluster required': value => 'cephx'; 
'global/auth service required': value -» 'cephx'; 


'global/auth client required': value -» 'cephx'; 
'global/auth supported': value -» 'cephx'; 





cat > ${keyring_path} << EOF 


[mon. ] 

key = ${key} 

Caps mon = \"allow *\" 
EOF 


chmod 0444 ${keyring_path} 


4. 生 成 /etc/ceph/ceph.client.admin.keyring 文 件 


touch /etc/ceph/${cluster_name}.client.admin.keyring 


5. 初 始 化 monitor 服 务 ， 创 建 done,sysvinit 空 文件 


mon_data=\$(ceph-mon ${cluster_option} --id ${id} --show-config-va- 
if [ ! -d \$mon_data ] ; then 
mkdir -p N$mon data 
if ceph-mon $[cluster option) \ 
--mkfs \ 
--id ${id} \ 
--keyring ${keyring path} ; then 
touch \$mon_data/done \$mon_data/${init} N$mon data/keyring 
else 
rm -fr N$mon data 
fea 
fi 


EJE ee 





6.È monik 4 : 


service ceph start mon.test-ceph-xue-1 


建 osd 的 大 致 过 程 如 下 : 


1. 安 装 包 


package { $::ceph::params::packages : 
ensure => $ensure, 
tag => 'ceph' 


# [*authentication_type*] Activate or deactivate authentication 
4 Optional. Default to cephx. 
4 Authentication is activated if the value is 'cephx' and deacti 
# if the value is 'none'. If the value is 'cephx', at least one « 
# key or keyring must be provided. 
if $authentication_type == 'cephx' { 
ceph_config { 
'global/auth cluster required': value => 'cephx'; 
'global/auth service required': value -» 'cephx'; 
'global/auth client required': value => 'cephx'; 
'global/auth  supported': value -» 'cephx'; 





3.61 keyring file 


if ! defined(File[$keyring_path]) { 
file ( $keyring path: 
ensure => file, 


owner -» $user, 
group => $group, 
mode => $mode, 


require => Package['ceph'], 


4. 生 成 管理 员 密 钥 环 ， 生 成 client.admin 用 户 并 加 入 密 钥 环 


ceph-authtool N$NEW KEYRING --name '${name}' --add-key '${secret}' 











5.4 client.admin % 4A 42 A ceph.mon.keyring 


ceph ${cluster_option} ${inject_id_option} $[inject keyring option: 








6.ceph 0.949 A F # M udev rules, @ H "T $& A $ Sk ceph-disk activate X Ji 


mv -f $(udev rules file) $(udev rules filej.disabled && udevadm cor 


» — 8 








7 .4& M ceph-disk prepare 做 预 处 理 T 4b 3 Jf 4E Ceph OSD 4 B xx ^ Bk & » ERA 
& GPT 分 区 、 给 分 区 打上 Ceph 风格 的 uuid 标记 、 创 建文 件 系统 、 把 此 文件 系统 
标记 为 已 就 绪 、 使 用 日 志 磁 盘 的 整个 分 区 并 新 增 一 > 分 区 。 可 单独 使 用 ， 也 可 由 
ceph-deploy 用 。 


if ! test -b ${data} ; then 

mkdir -p ${data} 

fi 

ceph-disk prepare ${cluster_option} ${data} ${journal} 
udevadm settle 


8. 激 活 Ceph OSD 激活 Ceph OSD 。 先 把 此 卷 挂 载 到 一 临时 位 置 ， 分 配 OSD 惟一 
标识 符 ( 若 有 必要 ) ， 重 挂 载 到 正确 位 置 


ceph-disk activate ${data} 


小 结 


在 这 里 ， 我 们 介绍 了 Ceph 的 一 些 基 础 知识 和 puppet-ceph 搭 建 过 程 ， 本 篇 文章 没有 
涉及 到 但 是 需要 我 们 注意 的 是 ， 在 搭建 ceph 集 群 之 前 ， 要 先 对 集群 的 硬件 进行 合理 


的 规划 ， 和 包括 故 障 域 和 潜在 的 性 能 问题 。 


动手 练习 


1. 通过 puppet 部 署 了 ceph 集 群 之 后 ， 在 本 机 插 拔 osd 盘 ， 再 执行 ceph-disk 
activate-all 命 令 ， 观 察 ceph 集群 状态 

2. 导出 ceph 集群 的 crush map 图 ， 理 解 其 含义 。 

3. 学 习 并 使 用 rbd 命 令 创建 、 显 示 、 对 照 (introspect) 和 移 除 块 设备 镜像 。 


e puppet-ceph 
o Ceph 基 本 结构 
o Ceph 基 本 组 件 
o CRUSH 机 制 
a 引入 CRUSH 的 目的 
a 理解 CRUSH 机 制 
a CRUSH Map 的 内 容 
如 何 编辑 CRUSH map 
o puppet-ceph 部 署 
准备 工作 
m 部 署 指南 
m 参数 说 明 
o puppet 执 行 过 程 分 析 
e 小结 


e 动手 练习 


NO 


第 四 章 Puppet-OpenStack 模 块 


PuppetOpenstack 项 目 发 展 到 今日 ， 代码 经 历 了 多 次 的 选 代 和 持续 的 更 新 ， 其 代码 
和 规范 可 以 称 之 为 Puppet 进 阶 的 经 典 素 材 。 它 体现 在 以 下 几 点 : 


e 严格 遵守 Puppet Code Style 

e DSH AG SE RE 

e LP RANE OA o IER ANA ZB 

e 精心 编写 的 自 定 义 Resource Type 和 Facter， 在 灵活 性 和 控制 能 力 上 做 出 了 权 
fr 


目前 官方 提供 的 模块 有 以 下 : 


e Alarming (Aodh) 

e Key Manager (Barbican) 

e Telemetry (Ceilometer) 

e Block Storage (Cinder) 

e DNS (Designate) 

e Image service (Glance) 

e Time Series Database (Gnocchi) 
e Orchestration (Heat) 

e Dashboard (Horizon) 

e Bare Metal (Ironic) 

e Identity (Keystone) 

e Shared Filesystems (Manila) 
e Workflow service (Mistral) 

e Application catalog (Murano) 
e Networking (Neutron) 

e Compute (Nova) 

e Load Balancer (Octavia) 

e Oslo libraries (Oslo) 

e Benchmarking (Rally) 

e Data processing (Sahara) 
Object Storage (Swift) 
Testing (Tempest) 
Deployment (TripleO) 


e Database service (Trove) 

e Deployment UI (TripleO Ul) 

e Root Cause Analysis (Vitrage) 
e Message service (Zaqar) 


本 书 将 会 覆盖 核心 Dpenstack 服 务 和 部 分 热门 服务 : 


e Telemetry (Ceilometer) 

e Block Storage (Cinder) 

e Image service (Glance) 

e Time Series Database (Gnocchi) 
e Dashboard (Horizon) 

e Identity (Keystone) 

e Application catalog (Murano) 
e Networking (Neutron) 

e Compute (Nova) 

e Object Storage (Swift) 

e Testing (Tempest) 

e Ceph(Block Storage) 

e Benchmarking (Rally) 

e Data processing (Sahara) 

e Orchestration (Heat) 

e DNS (Designate) 


e 第 四 章 Puppet-OpenStack 模 块 


OpenStack 模 块 代 码 结 构 


1. 简 介 


在 开始 介绍 各 个 OpenStack 服 务 的 Puppet 模 块 前 ， 先 观察 一 下 所 有 OpenStack 
module 的 目录 结构 ， 你 会 发 现 所 有 的 模块 的 部 分 代码 目录 结构 和 命名 方式 几乎 是 一 
致 的 ， 这 是 经 过 了 长 期 迭代 和 开发 中 形成 的 规范 和 统一 ， 代 码 结 构 统 一 带 来 的 好 处 
有 两 点 : 


1. 易于 维护 人 员 理 解 和 管理 
2. 减少 元 余 代码 ， 提 高 代码 复 用 


么 我 们 就 来 看 看 一 个 OpenStack 服 务 的 Module 中 包含 了 哪些 目录 : 


e examples/ 放置 示例 代码 

e ext/ 放置 external 代 码 ， 和 主要 代码 无 关 ， 但 是 一 些 有 用 的 脚本 
e lib/ 放置 library 代 码 ， 例 如 自 定 义 facterresource type 

e manifests/ 放置 puppet 代 码 

e releasenotes/ 放置 releasenote 

e spec/ 放置 class,unit,acceptance 测 试 

e tests/ CAA > 4$ Flexamples i 4X 


以 上 目录 中 最 重要 的 是 manifests 目 录 ， 用 于 放置 Puppet 代 码 ， 在 该 目录 下 包含 了 
以 下 通用 代码 文件 : 


名 称 说 明 
init.pp 主 类 ， 也 称 为 入 口 类 ， 通 常 仅 用 于 管理 公共 参数 (如 MQ 参数 ) 
params.pp 用 于 特定 操作 系统 的 参数 值 设 置 
client.pp 管理 客户 端的 配置 


config.pp 用 于 管理 自 定义 的 参数 配置 
policy.pp policy 设 置 
db/ 支持 多 种 数据 库 后 端的 配置 


keystone/ keystone endpoint,service,user,role 49 i & 


2. 数 据 库 管理 


2.1 class <service>: :db 


class <service>::db 用 于 管理 各 OpenStack 服 务 中 的 数据 库 相 关 配 
置 ， «service» 是 OpenStack 服 务 的 名 称 ， 以 Aodh 为 例 : 


Class aodh::db ( 

$database db max retries = $::0s service default, 
'sqlite:////var/lib/aodh/aodh.sqlite', 
$::0s service default, 


$database connection 


$database idle timeout 


$database min pool size ::0S service default, 


$database max pool size ::0S service default, 


$database max retries ::0S service default, 


$database retry interval ::0S service default, 


Il 
Fr 0 € € 


$database max overflow 


Js 


::0S service default, 


include ::aodh::deps 


$database connection real = pick($::aodh::database connection, $c 
$database idle timeout real - pick($::aodh::database idle timeout 
$database min pool size real = pick($::aodh::database min pool s: 





$database max pool size real - pick($::aodh::database max pool s: 





$database max retries real - pick($::aodh::database max retries, 
$database retry interval real = pick($::aodh::database retry int: 
$database max overflow real - pick($::aodh::database max overflov 


oslo::db ( 'aodh config': 
db max retries => $database db max retries, 
connection -» $database connection real, 
idle timeout => $database idle timeout real, 
min pool size => $database min pool size real, 





max pool size => $database max pool size real, 





max retries -» $database max retries real, 
retry interval => $database retry interval real, 
max overflow => $database max overflow real, 





class aodh::db 管理 了 与 数据 库 相 关 的 配置 项 ， 其 中 通过 调用 oslo::db 来 实 
现 ， 关 于 puppet-oslo 模块 ， 本 书 会 在 下 一 章节 详细 说 明 e 


2.2 class <service>::db: :mysql 


class <service>::db::mysql 用 于 创建 相关 服务 的 MySQL 数 据 库 ， 用 户 和 授权 
等 。 以 Aodh 为 例 : 


class aodh::db: :mysql( 


$password, 
$dbname = 'aodh', 
$user = 'aodh', 
$host = '127.0.0.1', 
$charset = ERS y 
$collate = 'utf8_general_ci', 
$allowed_hosts = undef 
) í 


include ::aodh::deps 


validate_string($password) 


::openstacklib::db::mysql { 'aodh': 


user => $user, 

password hash => mysql_password($password), 
dbname => $dbname, 

host => $host, 

charset => $charset, 

collate => $collate, 

allowed_hosts => $allowed_hosts, 


Anchor['aodh: :db::begin' ] 
~> Class['aodh::db::mysql' ] 
~> Anchor['aodh::db::end' | 


class aodh::db::mysql 管理 了 MySQL aodh 数 据 库 的 创建 ，aodh 用 户 创建 和 密 
码 设 定 ， 数 据 库 编码 ， 访 问 授 权 等 。 其 调用 了 openstacklib::db::mysql 来 实现 上 述 功 
能 ， 关 于 puppet-openstacklib 模块 ， 本 书 会 在 下 一 章节 详细 说 明 。 


2.3 class <service>::db::postgresql 


class <service>::db::mysql 用 于 创建 相关 服务 的 PostgreSQL 数 据 库 ， 用 户 和 
授权 等 。 以 Aodh 为 例 : 


class aodh::db::postgresql( 


$password, 

$dbname = 'aodh', 

$user = 'aodh', 

$encoding = undef, 

$privileges = 'ALL', 
yet 


include ::aodh::deps 


::openstacklib::db::postgresql { 'aodh': 
password_hash => postgresql_password($user, $password), 


dbname => $dbname, 
user => $user, 
encoding => $encoding, 
privileges => $privileges, 


Anchor['aodh::db::begin'] 
~> Class['aodh::db::postgresql' ] 
~> Anchor['aodh::db::end' | 


class aodh::db::postgresgl 完成 了 aodh 数 据 库 的 创建 ，aodh 用 户 创建 和 密码 
设 定 ， 数 据 库 编码 ， 访 问 授权 等 。 其 调用 了 openstacklib::db::postgresql 来 实现 上 述 
功能 。 
2.4 class <service>::db::sync 


class aodh::db::sync 用 于 执行 数据 库 表 的 初始 化 和 更 新 操作 。 以 Aodh 为 例 : 


class aodh::db::sync ( 


$user = 'aodh', 


yt 


include 


: :aodh: : deps 


exec { 'aodh-db-sync': 


} 


command => 
path 三 > 
refreshonly => 
user => 
try_sleep => 
tries => 
logoutput => 
subscribe => 

Anchor ['aodh 

Anchor [ ' aodh 

Anchor [ ' aodh 
], 


notify => 


'aodh-dbsync --config-file /etc/aodh/aodh.conf', 
'/usr/bin', 
true, 

$user, 

5, 

10, 

on_failure, 

[ 
::install::end'], 
::config::end'], 
::dbsync::begin' ] 


Anchor ['aodh: : dbsync: :end' ], 


4] — Oi 


aodh::db::sync 的 实现 是 通过 声明 exec 资 源 来 调用 aodh-dbsync 命 令 行 完 成 数据 库 初 
始 化 的 操作 。 


3. Keystone 初 始 化 管理 


在 OpenStack 部 署 工作 中 ， 与 Keystone 相 关 的 初始 化 操作 是 集群 正常 运行 必 不 可 少 
的 步骤 : 


e 创 
e 创 
e 创 
e 创 
e 创 


Domain 
Project 


并 指定 Role 
Service 


建 
建 
建 User， 设 置 Password 
建 
建 


e 创建 Endpoint 


也 包括 在 后 期 的 运 维 中 ， 指 定 user 的 password 更 新 或 者 endpoint 的 更 改 等 常见 操作 
都 可 以 在 Puppet 中 完成 。 而 这 背后 的 工作 是 通 


过 «service»::keystone::auth 来 完成 的 。 


3.1 class <service>: :keystone: : auth 


«service»::keystone::auth A 14] #OpenStack/k 4- 4 user,service fe 
endpoint > Aodh% fP] : 


class aodh::keystone::auth ( 


$password, 

$auth name - 'aodh', 

$email = 'aodh@localhost', 

$tenant = 'services', 

$configure_endpoint = true, 

$configure_user = true, 

$configure_user_role = true, 

$service_name = 'aodh', 

$service_type = 'alarming', 

$region = 'RegionOne', 

$public_url = 'http://127.0.0.1:8042', 

$internal_url = 'http://127.0.0.1:8042', 

$admin_url = 'http://127.0.0.1:8042', 
) {í 


include ::aodh::deps 


keystone::resource::service identity { 'aodh': 
configure user => $configure user, 
configure user role => $configure user role, 
configure endpoint => $configure endpoint, 


service name -» $service name, 
service type => $service type, 
service description -» 'OpenStack Alarming Service', 
region => $region, 
auth_name => $auth_name, 
password => $password, 
email => $email, 

tenant => $tenant, 
public url => $public url, 
internal url => $internal url, 
admin url -» $admin url, 


实际 上 aodh::keystone::auth 在 声明 define 
keystone::resource::service identity 的 基础 上 ， 根 据 Aodh 服 务 而 重 写 了 相 
关 的 参数 。 


下 面 来 看 一 段 代码 ， 关 于 keystone::resource::service identity 如 何 实现 
service 的 管理 : 


if $configure_service { 
if $service_type { 
ensure resource('keystone service', "$[service name real)::$. 


'ensure' => $ensure, 
'description' => $service_description, 
3) 
) else { 
fail ('When configuring a service, you need to set the servi« 





通过 函数 ensure resource 调用 了 keystone service 自 定义 资源 类 型 ， 并 传 
入 两 个 参数 : 


e "${service_name_real}::${service_type}" 
e {‘ensure' => $ensure, 'description' => $service description,) 


有 细心 的 读者 读 到 这 里 可 能 会 好 奇 ， 把 服务 名 称 和 服务 类 型 作为 一 个 参数 传 入 
keystone service ， 它 是 怎么 区 分 的 ? 


先 来 看 keystone_service.rb 的 代码 片段 (代码 路 径 puppet- 
keystone/lib/puppet/type/keystone_service.rb) : 


def self.title_patterns 
PuppetX::Keystone::CompositeNamevar.basic split title patternsi 
end 


4 8 





tile patterns 7 (434 3d 3| 
用 PuppetX::Keystone::CompositeNamevar.basic split title patterns 7 
法 来 得 到 :name 和 :type 变量 。 


接着 跳 转 到 basic_split title_patterns 的 定义 (代码 路 径 
lib/puppet_x/keystone/composite_namevar.rb): 


def self.not_two_colon_regex 
# Anything but 2 consecutive colons. 
Regexp.new(/(?:[4:]]:[4:])+/) 

end 


def self.basic_split_title_patterns(prefix, suffix, separator = 
associated_regexps = [] 
if regexps.empty? and separator == '::' 
associated regexps += [not two colon regex, not two colon ret 
else 
if regexps.count != 2 
raise(Puppet::DevError, 'You must provide two regexps') 
else 
associated regexps += regexps 
end 
end 
prefix re = associated regexps[9] 
suffix re = associated regexps[1] 


[ 


/(#{prefix_re})#{separator}(#{suffix_re})$/, 
[ 

[prefix], 

[suffix] 


], 
[ 
/\(#{prefix_re})$/, 


[ 
[prefix] 


end 








可 以 看 到 basic split title patterns 方法 默认 使 用 '::" 作 为 分 隔 符 ， 通 过 

not two_colon_regex 函 数 进行 正则 匹配 并 切割 字符 串 。 至 此 ， 我 们 从 上 到 下 地 剖 
析 了 如 何 实现 Keystone 相 关 资 源 的 初始 化 ， 以 加 深 读 者 对 于 代码 的 理解 。 在 实际 使 
用 中 ， 对 于 终端 用 户 来 说 ， 并 不 需要 关心 底层 的 Ruby 人 代码。 


3.2 class «service»::keystone: :authtoken 


<service>: :keystone: :authtoken 用 于 管理 OpenStack 各 服务 配置 文件 中 的 


keystone_authtoken 配 置 节 。 以 Aodh 服 务 为 例 : 


class aodh: :keystone: :authtoken( 


oe Bt 


keystone: :resource: :authtoken { 'aodh config': 


username => 
password 三 之 
project_name => 
auth_url => 
auth_uri => 
auth_version => 
auth_type => 
auth_section 三 之 


memcache_pool_conn_get_timeout => 








memcache_pool_dead_retry => 
memcache_pool_maxsize 三 之 
memcache_pool_socket_timeout => 


$username, 
$password, 
$project_name, 
$auth url, 
$auth uri, 
$auth version, 
$auth type, 
$auth section, 


$memcache pool conn get time« 





$memcache pool dead retry, 





$memcache pool maxsize, 
$memcache pool socket timeout 





aodh::keystone::authtoken 定义 中 声明 了 define 
部 分 参数 的 默认 值 。 


keystone: :resource::authtoken 中 定义 了 hash 类 型 变量 


keystone::resource::authtoken ， 并 重 写 了 


$keystonemiddleware options > 3& % f keystone authtoken&c & 3 T 63 ATA A v 
i 238 x iH create _resources 函 数 ， 传 入 服务 名 称 参 数 $name， 从 而 完成 指定 服 
务 配 置 文件 中 keystone_authtoken 的 配置 。 


$keystonemiddleware_options = { 


'keystone authtoken/auth section' => {'value 
'keystone authtoken/auth uri' -» ('value 
'keystone authtoken/auth type' => {'value 
'keystone authtoken/auth version' -» ('value 
'keystone authtoken/cache' => {'value 
'keystone authtoken/username' => {'value 
'keystone authtoken/password' -» ('value 
'keystone authtoken/user domain name' => {'value 
'keystone authtoken/project name' -» ('value 
'keystone authtoken/project domain name' => {'value 
'keystone authtoken/insecure' -» ('value 


j 


create resources($name, $keystonemiddleware options) 





4.224 7- F] Linux & 4T Z. I8] 65 2&4 


PuppetOpenstack X 44 # Redhat, CentOS, Ubuntu 等 多 个 Linux 发 行 版 上 部 署 
OpenStack 服 务 ， 然 而 在 不 同 的 Linux 发 行 版 中 ， 同 一 个 OpenStack 服 务 的 软件 包 的 
名 称 会 有 所 不 同 。 


例如 ，Nova API 软 件 包 的 名 称 在 Redhat 下 是 'openstack-nova-api'， 在 Debian 下 
是 'nova-api'。 


而 这 些 数据 则 通过 各 个 模块 的 class <service>::params 维护 。 


以 keystone::params 为 例 ， 可 以 看 到 不 同 的 Linux 发 行 版 之 问 $package_name,， 
$service_name 等 参数 值 也 有 所 不 同 ; 


class keystone::params { 
include ::openstacklib: :defaults 


$client_package_name = 'python-keystoneclient' 

$keystone_user = 'keystone' 

$keystone_group = 'keystone' 
$keystone_wsgi_admin_script_path = '/usr/bin/keystone-wsgi-admir 


$keystone_wsgi_public_script_path = '/usr/bin/keystone-wsgi- publ: 
case $::osfamily { 


'Debian': { 
$package_name = 'keystone' 
$service_name = 'keystone' 
$keystone_wsgi_script_path = '/usr/lib/cgi-bin/keystone' 
$python_memcache_package_name = 'python-memcache' 
$mellon_package_name = 'libapache2-mod-auth-mellon' 
$openidc_package_name = 'libapache2-mod-auth-openidc 

} 

'RedHat': { 
$package_name = 'openstack-keystone' 
$service_name = 'openstack-keystone' 
$keystone_wsgi_script_path = '/var/www/cgi-bin/keystone' 
$python_memcache_package_name = 'python-memcached' 
$mellon_package_name = 'mod_auth_mellon' 
$openidc_package_name = 'mod_auth_openidc' 

} 

default: { 
fail("Unsupported osfamily ${::osfamily}") 

} 





管理 自 定义 配置 项 的 <service>: :config 


模板 是 用 于 管理 配置 文件 的 常见 方式 ， 对 于 成 熟 的 项 目 而 言 ， 模 板 是 一 种 理想 的 管 
理 配 置 pies 但 对 于 快速 迭代 的 项 目 如 OpenStack， 维 护 人 员 会 非常 痛苦 ， 每 
增删 一 个 配置 项 需要 同时 更 新 模板 和 manifets 文 件 。 


试想 一 个 module 的 更 新 若 都 在 参数 的 增添 上 ， 那 对 社区 开发 者 来 说 是 极 大 的 成 本 。 
有 没有 一 种 办 法 可 以 不 修改 module， 直 接 在 hiera 里 定义 来 添加 新 配置 项 呢 ? 


<service>::config 类 是 由 笔者 在 14 年 初 提出 的 特性 ， 目 的 是 灵活 地 管理 自 定义 
配置 项 o 


d 


自 定义 配置 项 是 指 未 被 模块 管理 的 参数 。 怎 么 理解 ? 


以 keystone::config 为 例 ， 其 核心 是 create_ resources i Zt vA 
及 keystone config/keystone paste init 自 定 义 资 源 : 


dk db Ht dto dt dt dt dt HH dk dk o db o db HHH HHH dt dt OH OH OR 


-- Class: keystone::config 


This class is used to manage arbitrary keystone configurations. 


--- Parameters 


[*keystone config*] 
(optional) Allow configuration of arbitrary keystone configurat 
The value is an hash of keystone config resources. Example: 
{ 'DEFAULT/foo' => ( value => 'fooValue'}, 
'DEFAULT/bar' => { value => 'barValue'} 
} 
In yaml format, Example: 
keystone_config: 
DEFAULT/foo: 
value: fooValue 
DEFAULT/bar : 
value: barValue 


[*keystone paste ini*] 
(optional) Allow configuration of /etc/keystone/keystone-paste 


NOTE: The configuration MUST NOT be already handled by this moc 
or Puppet catalog compilation will fail with duplicate resource 


class keystone::config ( 


) 


$keystone config = {}, 
$keystone paste ini = {}, 


( 


include ::keystone::deps 


validate hash($keystone config) 
validate hash($keystone paste ini) 


create resources('keystone config', $keystone config) 
create resources('keystone paste ini', $keystone paste ini) 


_ EST 








若 Keystone 在 某 版 本 新 增 了 参数 new_param， 在 puppet-keystone 模 块 里 没有 该 参 
数 ， 此 时 ， 只 要 使 用 keystone::config 就 可 以 轻松 完成 参数 的 管理 。 


在 hiera 文 件 中 添加 以 下 代码 : 
keystone: :config: :keystone_config: 


DEFAULT/new_param: 
value: newValue 


6. 管 理 客 户 端 <service>: :client 


«service»::client 用 于 管理 各 OpenStack 服 务 的 Client 端 ， 完 成 客户 端的 安 
AE 


TA o 
以 Nova 为 例 ，nova::client 完 成 了 python-novaclient 软件 包 的 安装 : 
class nova::client( 


$ensure = 'present' 


HN 


include ::nova::deps 
package { 'python-novaclient': 


ensure => $ensure, 
tag => ['openstack', 'nova-support-package' ], 


7. 管理 策略 <service>: :policy 


«service»::policy 用 于 管理 Openstack 各 服务 的 策略 文件 policyjson ° 


尺 Cinder 为 例 ， 下 面 是 cinder::policy 代 码 : 


class cinder::policy ( 


$policies mu 
$policy path - '/etc/cinder/policy.json', 
) í 


include ::cinder::deps 
validate_hash($policies) 


Openstacklib::Policy::Base { 
file_path => $policy_path, 


create resources('openstacklib::policy::base', $policies) 
oslo::policy { 'cinder config': policy file => $policy path } 


其 中 使 用 create _ resources 调 用 了 openstacklib::policy::base ， 以 及 声明 了 
oslo::policy 定 义 。 


e OpenStack 模 块 代码 结构 
o 1. 简 介 
o 2. 数 据 库 管理 
m 2.1 class ::db 
m 2.2 class ::db::mysql 
m 2.3 class ::db::postgresq| 
m 2.4 class ::db::sync 
3. Keystone 初 始 化 管理 
m 3.1 class ::keystone::auth 


o 


m 3.2 class ::keystone::authtoken 
o 4. 维 护 不 同 Linux 发 行 版 之 间 的 数据 
o 5. 管理 自 定 义 配 置 项 的 ::config 


o 6. 管 理 客户 端 ::client 
o 7. 管理 策略 ::policy 


puppet-keystone 模块 介绍 


1. 基础 知识 - 理解 Keystone 
2. 先睹为快 
3. 核心 代码 讲解 - 如 何 做 到 管理 keystone 服 务 ? 
o Class keystone 
o class keystone::service 
o class keystone::endpoint 
o define keystone::resource::service identity 
4. 小 结 


5. 动手 练习 - 光 看 不 练 假 把 式 


0. 基 础 知识 


puppet-keystone 是 用 于 配置 和 管理 Keystone， 其 中 包括 :服务 ， 软 件 包 ， 


KE A 


Keystone user > role > service > endpoint ¥ ° 3? keystone user, role, service, 
endpoint 等 资源 的 管理 是 通过 自 定 义 的 resource type 来 实现 。 


在 开始 介绍 puppet-keystone 模 块 前 ， 先 来 回顾 一 下 Keystone 中 的 基础 概念 。 


Identity 


Keystone 的 Identity : user 和 group ， 用 于 标识 用 户 的 身份 ， 数 据 可 以 存在 
Keystone 数 据 库 中 ， 或 者 也 可 以 使 用 LDAP。 


名 称 说 明 
User 表 示 独 立 的 AP| 消 费 者 ，User 非 全 局 唯一 ， 必 须 属 于 某 个 domain ， 


=- 但 在 domain 命 名 空间 下 唯一 
M group 表 示 汇 总 user 集 合 的 容器 ， 和 User 一 样 ，group 非 全 局 唯一 ， 必 
Scis 须 属于 某 个 domain， 在 domain 命 名 空间 下 唯一 


Resources 


Keystone 的 resources 部 分 提供 了 两 类 数据 : Projects 和 Domains ， 通 常 存 储 
在 SQL 中 。 


名 称 说 明 


Project( 在 v2.0 时 也 称 为 Tenant) 表 示 Openstack 基 本 单位 的 所 
有 权限 。 在 OpenStack 中 的 资源 必须 归属 于 某 个 特定 
Project(Tenant) project。project 非 全 局 唯一 ， 必 须 归 属于 茶 个 domain， 在 
domain 命 名 空间 下 唯一 。 若 一 个 project 没 有 被 指定 domain ， 
那么 其 domain 会 被 设置 为 default 
domain 是 project，user 和 group 更 高 层级 的 容器 。 每 个 
Domain domain 定 义 了 一 个 命名 空间 ，Keystone 默 认 提供 了 一 个 名 
为 'Default 的 上 默认 domain。Domain 是 全 局 唯一 的 。 


Assignment 


Assignment 提 供 了 role 和 role assignment 的 数据 。 


名 称 说 明 
role 指 定 了 user 能 获取 的 授权 级 别 ，roles 可 以 domain 或 project 
Role 级 别 授予 ，role 可 以 被 指定 到 单独 的 user 或 group。 注 意 噢 ， 
role 可 是 全 局 唯一 的 。 
Role 


一 个 包含 Role, Resource, ldentity 的 三 元 组 
Assignments 


Token 


党 


Token 服 务 用 于 验证 和 管理 token， 在 完成 对 用 户 正 确 的 认证 请 求 后 ，Keystone 会 返 
回 相应 的 token，token 存 在 有 效 期 。 在 用 户 与 Openstack 服 务 的 交互 中 ， 会 使 用 
token 作 为 验证 信息 ， 提 高 系统 的 安全 性 。 


Catalog 


Catalog 提 供 了 各 个 service 的 endpoint 注 册 入 口 ， 用 于 endpoint 自 动 发 现 。 


以 下 是 Keystone service catalog 的 样 例 : 


"catalog^s T 


{ 
"name": "Keystone", 
"type": "identity", 
"endpoints": [ 
x 
"interface": "public", 
"url": "https://identity.example.com:35357/" 
} 
] 
} 


通常 ， 作 为 用 户 不 需要 关心 这 个 列表 ，catalog 在 以 下 情况 下 会 作为 返回 值 响应 : 


e token creation response ( POST /v3/auth/tokens ) 
e token validation response ( GET /v3/auth/tokens ) 
e standalone resource ( GET /v3/auth/catalog ) 


Services 


service catalog 本 身 是 由 一 组 Services 组 成 ，service 的 定义 是 : 


Service 实 体 表 示 Openstack 中 的 Web 服务。 每 个 service 可 以 有 0 个 或 以 上 的 
endpoint， 当 然 没有 endpoint 的 service 并 没有 什么 实际 用 途 。 完 整 描述 请 参 
见 : Identity API v3 spec 


除了 和 endpoint 相 关 以 外 ， 还 有 两 个 非常 重要 的 属性 : 
e name (string) 
面向 用 户 的 service 名 称 


这 表示 该 参数 的 值 不 是 为 了 让 程序 去 解析 的 ， 而 是 作为 一 个 终端 用 户 可 读 的 字符 
串 。 例 如 keystone 服 务 的 name， 你 可 以 设置 为 "Keystone" 或 者 "New Public Cloud 
Indetity Service"。 因 此 ， 使 用 者 可 以 根据 实际 需求 来 设置 。 


e type (string) 


描述 service 所 实现 的 APIl。 该 参数 值 只 能 在 给 定 的 列表 中 选择 。 目 前 
Openstack 支 持 的 参数 值 有 : compute, image, ec2, identity, volume, 


network 等 。 


Endpoints 
Endpoint 表 示 API 服 务 的 基础 URL， 以 及 与 其 相关 的 metadata。 每 个 服务 应 该 有 1 个 
及 以 上 相关 的 endpoint， 例 如 : publicurl,adminurl,internalurl ° 
Endpoint 实 体 表示 Opestack web services t] URL ° 
e interface(string) 
根据 设置 的 类 型 来 决定 endpoint 的 访问 权限 : 


e public : 向 终端 用 户 提供 可 在 公 网 上 访问 的 网 络 接口 

e internal : 向 终端 用 户 提 供 近 可 在 内 部 网 络 访问 的 网 络 接口 

e admin : 提供 各 个 服务 管理 权限 的 访问 ， 一 般 仅 部 署 在 内 部 并 且 加 密 的 网 络 接 
口 


多 数 服务 在 实际 使 用 时 ， 只 需要 设置 public URL 即 可 。 
e url (string) 
service enpoint % 3& URL 。 


这 个 完整 URL 应 该 由 不 带 版 本 信息 的 基础 URL 加 端口 号 组 成 。 一 个 理想 的 url 
是 : https://identity.example.com:35357/ 


78, https://identity.example.com:35357/v2.0/ 作为 一 个 反例 ， 它 引导 所 
有 的 client 去 连接 指定 的 v2.0 版 本 ， 不 管 这 些 客户 端 能 否 处 理 哪里 版 本 。 


我 们 通过 图 例 来 解释 这 些 复杂 的 概念 : 


Keystone v2 model 


深入 理解 OpenStack 自 动 化 部 署 


Project1: Biology Project2: Aerospace 


Project3: Comp Sci 
User1: JohnB User3: SandraD 
Role1: Sysadmin Role1: Sysadmin 


User1: JohnB 
Role1: Sysadmin 


User2: LisaD User4: MarkF 
Role2: Engineer Role3: Project Mgr 


User3: SandraD 
Role4: Support 





User5: MichaelR 
Role2: Engineer 





e USer 可 以 存在 于 不 同 的 部 门 中 (projet) ， 并 且 在 各 个 部 门 中 可 以 拥有 不 同 的 
role。 


。 SandraD 在 Aerospace 是 个 系统 管理 员 ， 在 Comp Sci 就 变 身 为 客户 支持 。 


Keystone v3 model: Domain 


Domain1: TX Robotics Ctr Domain2: CA Robotics Ctr Domain3: NY Robotics Ctr 





Keystone v3 model: Group 
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深入 理解 OpenStack 自 动 化 部 署 


Project1: Biology Group1: 
Domain1 
Sysadmins 


Project2: Aerospace User1: JohnB 


Role1: Sysadmin 


Project3: Compsci 


Group2: Bio 
Engineers 


Role2: Engineer ] 


User2: LisaD 





e t RN F ZA user/project t frole * m4 domain owner 就 可 以 把 role 赋 子 
group， 然 后 把 user 添 加 到 group 里 去 。 
e role T Zik T 5| domain 35 A hy group X # project; El 44 group 


在 上 图 中 : 


e JohnB 属 于 "domain1 sysadmins" group， 拥 有 sysadmin role， 并 属于 
Bio,Aero,Compsci project ° 


e LisaD& T"Big Engineers"group > 41 # Engineer role， 仅 属于 compsci 


project ° 
Keystone/R 2-28 fF 
组 件 描述 
openstack-keystone 对 外 提供 认证 和 授权 服务 ， 同 时 支持 v2/v3 API 
keystone 基于 命令 行 的 keystone 客 户 端 工具 


1.7084 Ak 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 


OK， 我 们 开始 吧 ! 
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打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -v keystone/examples/v3_basic.pp 


等 待命 令 执 行 完成 ， 在 终端 下 试 试 吧 : 


export OS_IDENTITY_API_VERSION=3 

export OS USERNAME-admin 

export OS USER DOMAIN NAME-admin domain 

export OS PASSWORD-ChangeMe 

export OS PROJECT NAME-admin 

export OS PROJECT DOMAIN NAME-admin domain 

export OS AUTH URL-http://keystone.10cal:35357/v3 


G 0 9o FFA fF uo 


$ openstack user list 
$ openstack service list 


这 是 如 何 做 到 的 ?下 面 来 看 v3_basic.pp 代 码 


深入 理解 OpenStack 目 动 化 部 羊 


# 设 置 了 全 局 的 EXec 属 性 ， 当 命令 执行 失败 时 ， 输 出 结 
Exec { logoutput => 'on_failure' } 


4 安装 MySQL 服 务 

class { '::mysql::server': } 

# 配置 keystone database 

class { '::keystone::db::mysql": 
password => 'keystone', 


} 

# 配置 keystone 服 务 

class { '::keystone': 
verbose => true, 
debug => true, 
database connection => 'mysql://keystone:keystoneQ127.0.0.1/keys! 
admin token -» 'admin token', 
enabled -» true, 

} 

# 设置 admin role 

class { '::keystone::roles::admin': 
email => 'test@example.tld', 
password => 'a_big_secret', 
admin => 'admin', # username 
admin_tenant => 'admin', # project name 
admin_user_domain => 'admin', # domain for user 


admin tenant domain => 'admin', # domain for project 
j 
4 创建 keystone endpoint 
class ( '::keystone::endpoint': 

public uri => 'https//127.0-0.1:5000/'"; 

admin_url => 'http://127.0.0.1:35357/', 





2. 核 心 代码 讲解 


2.1 class keystone 
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class keystone 逻辑 非常 复杂 ， 暂 先 抛 开 大 量 的 判断 逻辑 和 类 调用 ， 它 主要 完 
成 了 三 个 主要 任务 : 


e 安装 Keystone 软 件 包 
e 管理 Keystone.conf 中 的 主要 配置 项 
e 管理 Keystone 服 务 


2.1.1 keystone 软 件 包 管理 


这 里 有 一 个 重要 参数 $package_ensure， 可 以 指定 软件 包 的 版 本 ， 或 者 将 其 标记 为 
总 是 安装 最 新 版 本 ， 本 书 将 会 在 最 佳 实践 部 分 再 次 提 及 它 。 


# keystone 软 件 包 
package ( 'keystone': 
ensure -» $package ensure, 


name => $::keystone::params::package name, 
tag => ['openstack', 'keystone-package' ], 

} 

# keystone-clientx# & 

if $client_package_ensure == 'present' { 
include '::keystone::client' 

) else { 
class ( '::keystone::client': 


ensure -» $client package ensure, 


2.1.2 keystone.conf 核 心 参数 管理 


class keystone 管 理 了 大 量 的 配置 项 ， 比 如 cache, token, db, endpoint 等 相关 参数 ， 
这 里 不 一 一 列举 。 


那么 对 于 这 些 选项 是 如 何 管理 的 呢 ? 这 里 我 们 要 提 到 keystone config ° 
keystone config 是 一 个 自 定义 的 resource type， 其 代码 路 径 是 : 


e lib/puppet/type/keystone config.rb 定义 了 keystone_config 
e lib/puppet/provider/keystone config/ini setting.rb 实现 了 keystone_config 


在 这 里 我 们 关注 如 何 使 用 keystone config ° 


keystone_config 有 几 种 使 用 场景 


对 指定 参数 赋值 : 


keystone config { 'section name/option name': value => option v: 


E — g 








对 指定 参数 赋值 ， 并 设置 为 加 密 : 


keystone config { 'section name/option name': value => option v: 
BE 


我 们 知道 puppet agent 的 所 有 输出 默认 都 会 被 syslog 打 到 系统 

志 /varlog/messages 中 ， 那 么 有 心 人 只 要 用 grep 就 能 从 中 搜 到 — 息 ， 例 
如 : admin. token, user. password, keystone db password 等 等 。 只 要 设置 了 
secret 为 true 后 ， 那 么 就 不 会 把 该 参数 的 相关 日 志 打 到 系统 日 志 中 。 





keystone config { 'section name/option name': ensure => absent} 
Kil — h 


OK， 讲 解 就 到 这 里 ， 下 面 看 一 段 实际 的 代码 。 


keystone config { 
'DEFAULT/admin token': value => $admin token, secret => ti 
'DEFAULT/public bind host': value => $public bind host; 
'DEFAULT/admin bind host': value -» $admin bind host; 
‘DEFAULT / public port.’ = value => $public_port; 
'DEFAULT/admin port': value -» $admin port; 





与 之 对 应 的 keystone.conf 配 置 文件 DEFAULT] 下 的 admin_token 等 配置 项 被 Puppet 
修改 为 指定 值 。 


2.1.3 keystone 服 务 管 理 


puppet 支 持 keystone 以 单 进 程 模式 运行 或 者 跑 在 Apache 上 ， 请 注意 ， 如 果 需 要 将 
keystone 运 行 在 Apache 上 ， 那 么 需要 添加 keystone::wsgi::apache， 代 码 如 下 : 


class { 'keystone': 


service name => 'httpd', 


j 


class ( 'keystone::wsgi::apache': 


我 们 来 看 一 下 管理 keystone 服 务 的 逻辑 : 


if $service name == $::keystone::params::service name { 
$service name real - $::keystone::params::service name 


# 这 里 调用 了 keystone: :service 类 ， 用 于 管理 keystone 服 务 的 具体 配置 


class { '::keystone::service': 
ensure => $service_ensure, 
service_name => $service_name, 
enable => $enabled, 
hasstatus => true, 
hasrestart => true, 
validate => true, 
admin endpoint => $v_auth_url, 
admin_token => $admin_token, 
insecure => $validate_insecure, 
cacert => $validate_cacert, 

} 

} else { 

class { '::keystone::service': 
ensure => $service_ensure, 
service_name => $service_name, 
enable => $enabled, 
hasstatus => true, 
hasrestart => true, 
validate => false, 


} 

warning('Keystone under Eventlet has been deprecated during the 
} elsif $service_name == 'httpd' { 

# 在 这 里 ， 我 们 可 以 看 到 当 $service_name 为 httpd 时 ， 将 keystone service’ 

include ::apache::params 


class { '::keystone::service': 
ensure => 'stopped', 
service name => $::keystone::params::service name, 
enable -» false, 
validate -» false, 


} 
$service_name_real = $::apache::params::service_name 
# leave this here because Ubuntu packages will start Keystone : 
# before apache can run 
Service[ 'keystone'] -> Service[$service_name_real] 
) else { 
fail('Invalid service name. Either keystone/openstack-keystor 


a - 





2.2 class keystone::service 


在 class keystone 中 就 遇 到 了 keystone::service， 从 类 的 名 称 可 以 得 知 ， 该 类 用 
于 管理 Keystone 服 务 。 其 中 有 两 段 代码 需要 注意 : 


第 一 段 是 管理 keystone 服 务 : 


service { 'keystone': 


ensure => $ensure, 
name => $service_name, 
enable => $enable, 


hasstatus => $hasstatus, 
hasrestart => $hasrestart, 
tag => 'keystone-service', 


第 二 段 代码 比较 有 意思 ， 类 似 于 smoketest， 简 单调 用 keystone 的 user list 接 口 来 验 
证 keystone 服 务 是 否 正常 运行 : 


if $validate and $admin_token and $admin_endpoint { 
$cmd = "openstack --os-auth-url ${admin_endpoint} --os-token $- 


$catch - 'name' 


exec ( 'validate keystone connection': 


path => 
provider => 
command => 
subscribe => 


refreshonly => 
tries => 
try_sleep => 
notify => 


'/usr/bin:/bin:/usr/sbin:/sbin', 
shell, 

$cmd, 

Service['keystone'], 

true, 

$retries, 

$delay, 
Anchor['keystone::service::end'], 





2.3 class keystone::endpoint 


顾名思义 ， class keystone::endpoint 用 于 创建 和 管理 Keystone 的 service 和 


endpoint ° 


以 下 是 使 用 样 例 : 


class { 'keystone: 
public_url => 
internal_url => 
admin_url 三 之 


WwW 


:endpoint ': 
"httpss154::19::10223:9500077 
nite/ 9-1. 7 :5908 
"hbtpss// 10:0: SS 


那么 它 是 如 何 实现 的 呢 ? 继续 往 下 看 ， 它 又 调用 了 一 个 define。 


keystone::resource::service identity ( 'keystone': 


configure user -» false, 
configure user role -» false, 

service type => 'identity', 
service_description => 'OpenStack Identity Service', 
public_url => $public_url_real, 
admin_url => $admin_url_real, 
internal_url => $internal_url_real, 
region => $region, 
user_domain => $user_domain, 
project_domain => $project_domain, 
default_domain => $default_domain, 


接 下 来 ， 需 要 跳 转 到 keystone::resource::service identity 的 定义 了 。 


2.3.1 define keystone::resource::service_identity 


lit > d KA keystone::resource::service_ identity > ATA BORAT > RAA 
它 是 怎么 实现 的 。 


首先 ， 它 实现 了 管理 keystone user : 


if $configure_user { 
if $user_domain_real { 
# We have to use ensure_resource here and hope for the best, 
# no way to know if the $user_domain is the same domain passe 
# $default_domain parameter to class keystone. 
ensure_resource('keystone_domain', $user_domain_real, { 


'ensure' => 'present', 
'enabled' => true, 
3) 
} 
ensure resource('keystone user', $auth name, { 
'ensure' -» 'present', 
'enabled' -» true, 
'password' => $password, 
'email' => $email, 
' domain' -» $user domain real, 
3) 


if ! $password ( 
warning("No password had been set for $[auth name) user.") 





这 里 的 关键 是 keystone_User 资 源 ， 这 又 是 一 个 自 定 义 resource type， 其 源码 路 径 
为 : 


e lib/puppet/type/keystone config.rb 定义 
e lib/puppet/provider/keystone config/ini setting.rb 实现 


通过 keystone_user，Puppet 完 成 了 对 user 的 管理 (包括 创建 ,修改 ,查询 ) © 


同 理 ， 还 有 keystone_ domain， 目的 是 完成 对 domain 的 管理 。 剩 下 的 代码 同 理 ， 就 
不 一 一 解读 了 。 


3. 小 结 


在 这 里 ， 我 们 介绍 了 puppet-keystone 的 核心 代码 ， 当 然 该 module 还 有 许多 重要 的 
class 我 们 并 没有 涉及 ， 例 如 : keystone::deps，keystone::policy 等 等 。 这 些 就 留 给 
读者 自己 去 阅读 代码 了 。 
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1. 配置 token_ flush 的 cron job， 使 得 可 以 定期 清理 Keystone 数 据 库 的 token 表 中 
token 失 效 数据 。 

2. 将 keystone 服 务 运行 在 Apache 上 

3. 如 何 开 局 keystone 的 debug 日 志 级 别 

4. 接 第 3 问 ， 在 keystone 和 keystone::loging 里 都 存在 $verbose 交 量 ， 这 种 代码 宛 
余 的 原因 是 出 于 什么 考虑 ? 可 以 移 除 吗 ? 
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puppet-nova 模块 介绍 


1. 先睹为快 - 一 言 不 合 ， 立 马 动 手 ? 
2. 核心 代码 讲解 - 如 何 做 到 管理 Nova 服务 ? 


o 


o 


o 


o 


o 


o 


3. 小结 


class nova 


class nova:: 
class nova:: 
class nova:: 
class nova:: 
class nova:: 


keystone::auth 
api 

conductor 
compute 
network::neutron 


4. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : Be HE 
阅读 级 别 : 必 读 


阅读 时 间 1.5h 


puppet-nova 模块 用 于 配置 和 管理 Nova 服 务 ， 包 括 服务 ， 软 件 包 ， 配 置 文件 ， 
flavor > nova cells 等 等 。 其 中 nova flavor, cell 等 资源 的 管理 是 使 用 自 定义 的 
resource type 来 实现 的 。 


先睹为快 


Nova 服务 内 部 有 很 多 组 件 ， 其 中 最 重要 的 组 件 是 nova-api 和 nova-compute， 这 
两 个 服务 的 部 署 在 nova 模块 中 都 有 专门 的 类 来 完成 ， 当 然 在 部 署 之 前 环境 中 需要 
有 keystone 来 为 nova 提供 认证 服务 。 


以 部 署 nova-api 为 例 : 


class { ‘nova’: 


rabbit_host => 'localhost', 
rabbit_password => 'password', 
rabbit_userid => 'user', 


database connection => 'mysql://nova:nova passQlocalhost/nova?ch: 


j 


class nova::keystone::auth ( 
password -» 'password', 


} 
class mova apinn 
admin_password => 'password', 


Ki ua! : 


即 可 完成 nova-api 的 基本 部 署 。 其 中 nova 这 个 类 主要 负责 所 有 nova 服务 通用 
忆 置 项 的 配置 ， nova::keystone::auth 用 于 创建 keystone 用 户 ， 服 务 ， 
endpoint， 以 及 角色 和 用 户 的 关联 ，nova::api 用 于 部 署 nova-api 服务 ， 管 理 相 
关 的 配置 文件 ， 并 管理 nova-api 服务 。 





核心 代码 讲解 


class nova 


Nova 是 一 个 有 多 个 内 部 组 件 的 OpenStack 服务 ， 这 些 服 务 可 以 分 开 部 署 在 不 同 的 
节点 中 ， 服 务 之 间 使 用 消息 队列 进行 通信 ， 有 些 组 件 会 使 用 到 数据 库 ， 还 可 能 和 
keystone 服务 进行 交互 。nova 虽然 服务 众多 ， 但 是 配置 文件 只 有 一 份 ， 这 个 配置 
文件 中 所 有 服务 通用 的 配置 eode dU a E 些 配置 
项 ， 主 要 使 用 nova 这 类 来 进行 管理 ， 这 个 类 主要 管理 了 这 些 选项 : 


e 数据 库 相 关 的 配置 
。 消息 队列 相关 的 配置 
e 日 志 相 关 的 配置 

e SSL 相关 的 配置 


这 个 类 主要 使 用 nova config 来 对 这 些 配置 进行 管理 ， 它 的 使 用 也 非常 简单 ， 
只 用 传递 相关 的 参数 就 可 以 了 。 


class nova::keystone::auth 


这 个 类 的 主要 功能 是 添加 keystone 用 户 ， 以 及 用 户 和 角色 的 关联 ， 它 通过 调用 


keystone 模块 的 keystone: :resource: :service_identity 
完成 所 有 keystone 中 资源 的 创建 。 


这 个 define 资源 来 


keystone::resource::service identity ( "nova service, user ${autl 


configure user => 
configure_user_role => 
configure_endpoint => 
service_type => 


service_description => 


service_name => 
region => 
auth_name Š> 
password 2> 
email => 
tenant => 
public_url E» 
admin url = 


internal_url 


$configure_user, 
$configure_user_role, 
$configure_endpoint, 
'compute', 

$service description, 
$real service name, 
$region, 

$auth name, 
$password, 

$email, 

$tenant, 
$public_url_real, 
$admin url real, 
$internal url real, 





class nova::api 


nova::api 这 个 类 用 来 配置 和 管理 nova-api 服务 以 及 相应 的 配置 ， 
是 用 于 keystone 认证 的 相关 配置 。 


其 中 比较 重要 的 


首先 ， 代 码 中 会 使 用 nova::generic service 来 完成 nova-api 这 个 软件 包 的 安 


装 和 服务 的 管理 ， 


nova::generic service 


各 个 组 件 的 软件 包 安 装 和 服务 的 局 动 : 、 


这 个 资源 主要 的 作用 是 管理 nova 中 


nova::generic service { 'api': 
enabled -» $service enabled, 
manage service => $manage service, 
ensure package => S$ensure package, 


package name => $::nova::params::api package name, 
service name => $::nova::params::api service name, 
subscribe -» Class['cinder::client'], 


然后 通过 nova config 和 nova paste api ini 这 个 两 个 自 定义 资源 来 对 
/etc/nova/nova.conf 和 /etc/nova/api-paste.ini 进行 一 系列 的 配置 ， 并 
通过 nova::db 来 进行 数据 库 相 关 的 配置 


class nova::conductor 


nova::conductor 这 个 类 比较 简单 ， 主 要 使 用 nova::generic service 来 完成 
conductor 服务 和 软件 包 的 管理 ， 并 配置 了 workers 参数 。 


class nova::compute 

nova::compute 这 个 类 用 来 配置 nova-compute 服务 ，nova-compute 服务 一 般 部 署 
在 计算 节点 ， 用 于 完成 虚拟 机 的 创建 

nova::compute 中 主要 完成 了 : 


e nova-compute 相关 配置 的 管理 ， 如 VNC， 网 络 相 关 的 配置 
e 管理 nova-compute 的 软件 包 和 服务 


这 些 服务 和 配置 的 管理 都 是 通过 nova config 和 nova::generic service 两 
个 资源 来 完成 的 。 


class nova::migration::libvirt 


nova eos 制 Libvirt 来 完成 虚拟 机 的 迁移 ， 配 置 庶 拟 机 迁移 除了 需要 配置 nova 的 
配置 之 外 ， 还 需要 配置 Libvirt 相关 的 配置 ， 因 此 在 nova 模块 中 专门 有 一 个 
nova::migration::libvirt 的 类 来 进行 libvirt 相关 的 配置 ， 这 个 类 中 ， 使 用 了 
augeas 和 file line 资源 来 配置 /etc/libvirt/libvirtd.conf 


augeas ( 'libvirt-conf-uuid': 
context => '/files/etc/libvirt/libvirtd.conf', 
changes => [ 
"set host_uuid ${host_uuid}", 
], 


notify => Service['libvirt'], 
require => Package['libvirt'], 


augeas 能 够 将 配置 文件 当做 树 形 的 结构 来 进行 处 理 ， 详 细 的 使 用 说 明 可 以 参考 
这 里 。 同 时 ， 也 使 用 了 file line 来 进行 libvirtd.conf 的 配置 


file line { '/etc/libvirt/libvirtd.conf listen_tls': 
path => '/etc/libvirt/libvirtd.conf', 
line => "listen_tls = ${listen_tls}", 
match => 'listen_tls =', 
tag => 'libvirt-file line', 


小 结 


puppet-nova 模块 中 的 内 容 众多 ， 按 照 nova 中 的 各 个 服务 和 功能 进行 了 拆 分 ， 每 
个 服务 都 有 对 应 的 puppet 类 进行 管理 ， 模 块 中 还 包含 了 neutron, nova cell 等 资源 
的 管理 ， 感 兴趣 的 读者 可 以 研究 模块 中 其 余 的 代码 。 


动手 练习 


1. nova 中 的 各 个 服务 是 通过 哪个 统一 的 自 定义 资源 进行 管理 的 ? 阅读 这 个 
define 资源 的 代码 ， 查 看 它 的 实现 方式 。 

2. 部 署 nova-api, nova-scheduler, nova-conductor ud 

3. 如 何 设置 nova-compute 服务 的 宿主 机 内 存 分 配 比 ， 这 些 资源 分 配 比 例 的 设 定 
是 在 哪个 类 中 进行 管理 的 ? 

4. 如 何 将 nova-compute 


e puppet-nova 模块 介绍 


深入 理解 OpenStack 自 动 化 部 署 


o 先睹为快 


o 核心 


a 
a 
a 
a 
国 
[| 
o 人 小结 


o 动手 


puppet-nova 


代码 讲解 
class nova 


class nova:: 
class nova:: 
class nova:: 
class nova:: 
class nova:: 


练习 


keystone::auth 
api 

conductor 
compute 
migration::libvirt 


166 


puppet-neutron 模块 介绍 


1, 先睹为快 - 一 言 不 合 ， 立 马 动手 ? 
2. 核心 代码 讲解 - 如 何 做 到 管理 各 Neutron 服务 ? 


o 


o 


o 


Oo 


o 


o 


小 结 


class neutron 


class neutron:: 
class neutron:: 
class neutron:: 
class neutron:: 
class neutron:: 


keystone::auth 
server 
plugins::ml2 
agents::ml2::ovs 
agents::13 


3. 
4. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作者 : Ea 


建议 阅读 时 间 1.5h 


neutron 组 件 是 OpenStack 各 组 件 中 最 为 复杂 的 组 件 ，puppet-neutron 模块 提供 了 
neutron 各 个 组 件 的 部 署 和 管理 ， 包 括 neutron plugins 的 管理 和 neutron agents 的 


管理 。 


先睹为快 


Neutron 是 一 个 分 布 式 的 服务 ， 它 由 neutron-server 和 不 同 功能 的 agent 组 成 。 
neutron-server 用 于 处 理 API 请 求 ，agent 用 来 完成 各 种 网 络 功能 。 


以 部 署 neutron-server 为 例 : 


class { '::neutron::keystone::auth': 
public_url => "http:/localhost:9696", 
internal_url => "http://localhost:9696", 


admin url -» "http://localhost:9696", 
password -» 'a big secret', 

J 

class { :neutron 
rabbit user -» 'neutron', 
rabbit password -» 'an even bigger secret', 
rabbit host -» localhost, 
rabbit port => 5672, 
core_plugin => 'ml2', 

} 

class { '::neutron::client': } 

class { '::neutron::server': 


database connection => 'mysqlt+pymysql://neutron:neutron@127.0.( 
password => 'a_big_secret', 


a 一 一 





这 里 使 用 了 

neutron * neutron::client * neutron::server * neutron:: keystone: 
:auth 四 个 类 ， 分 别 用 于 完成 服务 的 基础 配置 ， 客 户 端的 安装 ，neutron-server 服 
务 的 配置 和 管理 ， 以 及 keystone 的 认证 。 


核心 代码 讲解 


class neutron 


这 个 类 主要 完成 一 些 通用 的 neutron 配置 ， 主 要 包括 有 : 


。 消息 队列 相关 的 配置 
e 日 志 相 关 的 配置 
e SSL 相关 的 配置 


这 个 类 主要 使 用 neutron_config 来 对 这 些 配置 进行 管理 ， 同 时 还 使 用 了 
oslo 模块 来 完成 消息 队列 相关 的 配置 管理 。 


class neutron::keystone::auth 


这 个 类 的 主要 功能 是 添加 keystone 用 户 ， 以 及 用 户 和 角色 的 关联 ， 它 通 


keystone 模块 的 keystone: 
完成 所 有 keystone 中 资源 的 创建 


keystone: : resource: 


configure_user => 
configure_user_role => 
configure_endpoint => 
service_type => 


service_description => 


service_name => 
region => 
password => 
email => 
tenant 三 之 
public_url => 
admin_url ES 


internal url 


.resource: 


过 调用 
:service identity 这 个 define 资源 来 


:service identity { $auth name: 


$configure user, 
$configure user role, 
$configure endpoint, 
$service type, 
$service description, 
$real service name, 
$region, 

$password, 

$email, 

$tenant, 

Spublic uri, 

$admin url, 

$internal url, 


class neutron::server 


nova::server 用 来 管理 neutron-server 服务 ， 这 个 服务 是 neutron 的 核心 服务 ， 用 
于 处 理 API 请 求 。 代 码 中 主要 使 用 neutron config 来 完成 keystone 用 户 认证 
相关 的 配置 ， 数 据 库 连接 相关 的 配置 ， 以 及 一 些 agent 的 基础 配置 。 


这 个 类 的 代码 中 多 次 了 ensure resource 函数 来 创建 资源 ， 这 样 做 的 好 处 是 
ensure resource 在 创建 资源 前 会 检查 是 否 有 重复 的 资源 定义 ， 如 果 有 重复 的 资 
源 定 义 那 么 就 不 再 重复 创建 资源 ， 可 以 避免 资源 的 重复 定义 ， 我 们 来 看 一 些 这 个 函 
数 是 如 何 被 使 用 的 : 


if $ensure_vpnaas_package { 
ensure resource( 'package', 'neutron-vpnaas-agent', { 
'ensure' => $package ensure, 
'name' => $::neutron::params::vpnaas agent package, 
page => ['openstack', 'neutron-package' ], 


}) 


这 里 使 用 了 package 资源 来 进行 软件 包 的 管理 ， 如 果 相 同 的 资源 已 经 定义 过 了 ， 那 
4 ensure resource 函数 将 不 再 重复 创建 此 资源 。 


class neutron::plugins::ml2 


neutron::plugins::ml2 用 于 配置 ml2 plugin 相关 的 配置 ， 包 括 
/etc/neutron/plugin.ini 软 链接 的 创建 ， 服 务 配 置 项 的 管理 等 等 。 关 于 ml2 
plugin 的 配置 ， 在 neutron 中 有 专用 的 自 定 义 资 源 neutron_plugin_ml2 用 来 配 

置 ml2 的 配置 文件 : 


neutron plugin ml2 { 


'ml2/type drivers': value => join(any2arra 
'ml2/tenant network types': value => join(any2arra 
'm12/mechanism drivers': value => join(any2arra 
'm12/path mtu': value -» $path mtu; 

'm12/extension drivers': value => join(any2arra 
'securitygroup/enable security group': value => $enable secur: 
'securitygroup/firewall driver': value -» $firewall dri 


[ MEME 





并 且 ， 还 控制 了 ml2-plugin 软件 包 的 安装 顺序 ， 在 安装 完 软 件 包 之 后 才 应 该 配置 其 
相关 配置 文件 : 


if $::neutron::params::m12 server package { 
package ( 'neutron-plugin-ml2': 
ensure -» $package ensure, 
name => $::neutron::params::ml2 server package, 
tag -» 'openstack', 
} 
Package['neutron-plugin-m12'] -> File['/etc/neutron/plugin. ini 
Package['neutron-plugin-m12'] -> File['/etc/default/neutron-se! 
Package['neutron-plugin-m12'] -> Neutron plugin sriov«||»? 
) else { 
Package['neutron'] -» File['/etc/neutron/plugin.ini' ] 
Package['neutron'] -» File['/etc/default/neutron-server'] 
Package['neutron'] -> Neutron plugin sriov«||» 





class neutron::agents::ml2::ovs 


openvswitch-agent 是 使 用 neutron 使 最 常用 的 agent， 它 通常 被 部 署 在 网 络 节点 和 
计算 节点 ， 用 来 完成 ovs bridge 的 管理 ，ovs-agent 由 neutron::agents::ml2::0vs 
这 个 类 来 进行 管理 ，neutron 模块 中 为 ovs-agent 的 配置 提供 了 专门 的 自 定义 资源 
neutron agent ovs 用 于 管理 其 配置 文件 ， 这 个 类 中 ， 主 要 使 用 了 
neutron agnet ovs 来 完成 ovs-agent 的 配置 ， 并 管理 了 ovs-agent 的 软件 包 和 
服务 。 与 这 个 类 类 似 的 ， 还 有 neutron::agents::ml2::linuxbridge 用 来 管理 
linuxbridge-agent 相关 的 配置 和 服务 。 


class neutron::agents::13 


I3-agent 通常 部 署 在 网 络 节点 ， 提 供 网 络 间 转 发 与 路 由 的 功 
能 ，neutron::agents::13 这 个 类 用 于 完成 L3-agent 的 配置 与 管理 。 值 得 注意 
的 是 ， 它 在 代码 中 ， 使 用 了 is service default 这 个 函数 : 


if ! is service default ($external_network_bridge) { 
warning('parameter external network bridge is deprecated') 


if ! is service default ($router id) { 
warning('parameter router id is deprecated and will be removed 





al — — — HR 





这 个 函数 是 在 puppet-openstacklib 中 ， 定 义 的 ， 它 的 作用 是 判断 一 个 变量 的 值 是 
否 等 于 $:os service default 这 个 facter 的 值 ， 即 这 个 变量 是 否 为 默认 值 。 这 里 对 
一 些 废弃 参数 的 值 进行 了 判断 ， 如 果 用 户 修改 了 这 些 废弃 参数 的 值 ， 那么 将 会 收 到 
warning 警告 信息 ， Lu d c2 1240 2 
is service default 这 个 函数 的 定义 如 下 : 


module Puppet::Parser::Functions 
newfunction(:is service default, :type => :rvalue, :doc => ««-EO: 

Returns true if the variable passed to this function is '<SERVICE I 
EOS 


) do |arguments| 
raise(Puppet::ParseError, "is service default(): Wrong number « 


"given (#{arguments.size} for 1)") if arguments.size != : 
value = arguments[0] 


unless value.is_a?(String) 
return false 
end 


return (value == '<SERVICE DEFAULT>' ) 


end 
end 


ai — GC 


这 个 有 函数 首先 对 传递 的 参数 个 数 进行 了 检查 ， 然 后 比较 了 参数 类 型 是 否 为 字符 串 ， 
最 后 将 参数 与 '<SERVICE DEFAULT»' 进行 比较 ， 并 返回 布尔 值 。 


2 





puppet-neutron 模块 管理 了 neutron 49 neutron-server 服务 ， 各 种 plugin 以 及 不 同 
的 agent 服务 ， 同 时 模块 总 还 有 管理 其 他 服务 如 lbaas, vpnaas 等 服务 的 专用 类 ， 
读者 可 以 自行 去 探究 其 代码 。 


动手 练习 


1. 部 署 neutron lbaas 服务 ， 查 看 neutron 模块 中 有 哪些 类 是 用 来 管理 这 个 服务 
相关 组 件 的 
2. 使 用 neutron port 和 neutron router 自 定 义 资 源 来 创建 neutron port 


和 router 


e puppet-neutron 模块 


o 先睹为快 


o 核心 


[| 
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o 小 结 


o 动手 


代码 讲解 
class neutron 


class neutron:: 
class neutron:: 
class neutron:: 
class neutron:: 
class neutron:: 


练习 


介绍 
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keystone::auth 
server 
plugins::ml2 
agents::ml2::ovs 
agents::13 


puppet-glance 模块 


. 项 目 简介 - 理解 Glance 

.先睹为快 

核心 代码 讲解 - 如 何 管 理 Glance 服 务 ? 
动手 练习 - 光 看 不 练 假 把 式 


= SoM GS 


0. 项 目 简介 


Glance 是 OpenStack Image Service 项 目 ， 用 于 注册 、 管 理 和 检索 虚拟 机 镜像 。 
Glance 并 不 负责 实际 的 镜像 存储 。 它 提供 了 对 接 简单 文件 系统 ， 对 象 存储 ， 块 存储 
等 多 种 存储 后 端的 能 力 。 除 了 磁盘 镜像 信息 ， 它 还 能 够 存储 描述 镜像 的 元 数据 和 状 
态 信息 。 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK ， 我 们 开始 吧 | 


创建 puppet glance.pp 文 件 并 输入 : 


class { “glance: :api': 


verbose => true, 
keystone_tenant => 'services', 
keystone_user => 'glance', 


keystone_password => '12345', 
database_connection => 'mysql://glance:12345@127.0.0.1/glance', 


class ( 'glance::registry': 


verbose -» true, 
keystone tenant => 'services', 
keystone user -» 'glance', 


keystone password => '12345', 
database_connection => 'mysql://glance:12345@127.0.0.1/glance', 


class { ‘glance: :backend: 


Sale x 


class { ‘glance: idb!:mysqi": 
password => '12345', 


allowed_hosts => '%', 


class { 'glance::keystone::auth': 


password => '12345' 

email => 'glance@example.com', 
public_address = 27 Oe ails 
admin_address 2: 027: 059051. 

internal address => '172.17.1.3', 

region -» 'example-west-1', 


rabbitmq user { 'glance': 
admin -» true, 


password -» 'an even bigger secret', 
provider => 'rabbitmqctl', 
require => Class['::rabbitmq'], 


rabbitmq user permissions 
configure permission => 


write permission => 
read_permission => 
provider E 
require 三 > 


在 终端 执行 以 下 命令 : 


{ 'glanceQ/': 
‘rabbitmgctl" , 
Class['::rabbitmq'], 


$ puppet apply -v puppet_glance.pp 


2. 核 心 代码 讲解 


2.1 class glance 


class glance 用 于 管理 Glance 软 件 包 和 Openstackclient 软 件 包 : 


include ::glance::params 


if ( $glance::params::api package name == $glance::params::regis! 
package ( $::glance::params::api package name : 
ensure => $package ensure, 


name => $::glance::params::api package name, 
tag => ['openstack', 'glance-package'], 

} 

include '::openstacklib::openstackclient' 


Ow SSS ss 





2.2 class glance: :api 


glance::api 类 用 于 管理 以 下 配置 : 
1. policy\db\logging\cache 


include ::glance::policy 

include ::glance::api::db 
include ::glance::api::logging 
include ::glance::cache::logging 


2. letc/glance/glance-api.conf 


# basic service config 
glance_api_config { 


'DEFAULT/bind host': value -» $bind host; 
'DEFAULT/bind port': value -» $bind port; 
"DEFAULT/backlog': value => $backlog; 
'DEFAULT/show image direct url': value -» $show image direct 
'DEFAULT/image cache dir': value -» $image cache dir; 
'DEFAULT/auth region': value -» $auth region; 
'glance store/os region name': value -» $0s region name; 


j 
r^ -— — 





3. © Jgletc/glance/glance-cache.conf 


在 Glance-api 中 ,启用 Glance 的 缓存 功能 可 以 加 速 镜像 的 二 次 下 载 速度 ( 注 : de 
Ceph 作 为 Glance, Cinder Nova 的 后 端 时 ， 此 功能 无 效 ) 


glance_cache_config { 
'DEFAULT/image cache stall time': value => $image cache stall i 
'DEFAULT/image cache max size': value -» $image cache max si: 
'glance store/os region name': value -» $0s region name; 





4.glance-api 服 务 的 管理 


service { 'glance-api': 


ensure => $service_ensure, 
name => $::glance::params::api service name, 
enable => $enabled, 


hasstatus => true, 
hasrestart => true, 
tag => 'glance-service', 


5. 验 证 glance-api 服 务 部 署 是 否 成 功 通过 调用 glance image-list 命令 来 验证 


if $validate { 
$defaults = { 
'glance-api' => { 
'command' => "glance --os-auth-url $(auth uri) --os-tenani 


j 


$validation options hash - merge ($defaults, $validation optior 
create resources('openstacklib::service validation', $validatic 


4 g 





2.3 Class glance::registry 

glance::registry 用 于 安装 和 配置 glance-registry 服务 ， 其 代码 结构 
与 glance::api ŽA > ELA KF 3E © 

Class glance::notify::rabbitmq 


在 glance-api 和 glance-registry 中 启用 notifications 功 能 可 以 在 创建 镜像 ， 更 新 镜像 
源 数 据 等 事件 发 生 时 发 送 通知 到 rabbitmq 给 其 他 服务 使 用 。 


调用 puppet-oslo 来 配置 glance-api.conf 和 glance-registry 


oslo::messaging::rabbit { ['glance api config', 


rabbit password => 
rabbit_userid => 
rabbit_host 三 之 
rabbit_port => 
rabbit_hosts => 
rabbit_virtual_host => 
rabbit_ha_queues => 


heartbeat_timeout_threshold => 


heartbeat_rate Z> 
rabbit_use_ssl => 
kombu_ssl_ca_certs 三 之 
kombu_ssl_certfile => 
kombu ssl keyfile => 
kombu_ssl_version => 
kombu_reconnect_delay => 
amqp. durable queues => 
kombu_compression => 


oslo::messaging: :notifications { 
driver => $notification_driver, 


topics => $rabbit_notification_ 


'glance registry. 
$rabbit password, 

$rabbit userid, 

$rabbit host, 

$rabbit port, 

$rabbit hosts, 

$rabbit virtual host, 
$rabbit ha queues, 

$rabbit heartbeat timeout thresl 
$rabbit heartbeat rate, 
$rabbit use ssl, 
$kombu ssl ca certs, 
$kombu ssl certfile, 
$kombu ssl keyfile, 
$kombu ssl version, 

$kombu reconnect delay, 

$amqp durable queues, 

$kombu compression, 


['glance api config', 'glance rt 


topie, 





2.4 Class glance: :backend: :rbd 


Glance 支 持 多 种 存储 后 端 ， 比如 cinder,swift,file,ceph,s3， 本 节 将 介绍 如 何 使 
用 glance::backend::rbd 配置 Ceph 作 为 Glance 后 端 存储 : 


zm ul 
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# 修 改 glance_store 下 的 配置 项 
glance api config { 





'glance store/rbd store ceph conf': value -» $rbd store cepl 
'glance store/rbd store user': value -» $rbd store usei 
'glance store/rbd store pool': value => $rbd store poo: 
'glance store/rbd store chunk size': value -» $rbd store chur 
'glance store/rados connect timeout': value -» $rados connect. 


if !$multi store { 
glance api config ( 'glance store/default store': value => 'rb¢ 
if $glare enabled { 
glance glare config { 'glance store/default store': value => 


436 python-cephAX fF & 
package ( 'python-ceph': 
ensure -» $package ensure, 


name => $::glance::params::pyceph package name, 
[| ——— — B 
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1. 配置 Glance 使 用 Swift 作为 存储 后 端 
2. 设置 token 的 缓存 时 间 为 5min 
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5. 动手 练习 - 光 看 不 练 假 把 式 


0. 基 础 知识 


Horizon 是 OpenStack Dashbaord 项 目 ， 为 用 户 提供 了 Web 图 形 化 的 管理 界面 来 完 
成 一 些 常 见 的 虚拟 资源 操作 ， 例 如 创建 虚拟 机 实例 ， 管 理 网 络 ， 设 置 访问 权限 等 


等 。 下 图 给 出 了 Horizon 的 预览 页 面 的 样 例 。 


E openstack openstack + 
Project ~ Overview 
Compute ihc 
Limit Summary 
| u— 
saree y 7 y 
Volumes 
Instances VCPUs RAM Floating IPs Security Groups 
Images Used 1 of 10 Used 1 of 20 Used 128 of 51,200 Used 0 of 50 Used 1 of 10 


Network 
Volume Storage 
Orchestration d Used 0 of 1,000 
Admin Usage Summary 
Identity 
FIRE Select a period of time to query its usage: 
From: 2016-06-01 To: 2016-06-02 Ea The date should be in YYYY-mm-dd format. 
Active Instances: 1 Active RAM: 128MB This Period's VCPU-Hours: 33.68 This Period's GB-Hours: 0.00 This Period's RAM-Hours: 4311.04 
Usage 
Instance Name VCPUs Disk RAM 
test-my_instance-vo7iy72jylss 1 OBytes 128MB 


除了 四 大 核心 项 目 以 外 ，Horizon 还 支持 以 下 项 目 : 


e swift 

e cinder 

e heat 

e ceilometer 


Time since created 


1 day, 21 hours 


& admin + 


Volumes 
Used 0 of 10 


& Download CSV Summary 


e trove 
e sahara 


注 : 要 正常 运行 horizon 服 务 ， 至 少 需 安装 Nova,Keystone,Glance,Neutron 服 务 


puppet-horizon 模块 用 于 配置 和 管理 horzion 服 务 ， 包 括 Horzion 软 件 包 ， 配 置 文 
件 和 服务 的 管理 ， 并 且 puppet-horizon 支持 将 Horizon 将 运行 在 Python 内 置 Web 
服务 器 或 Apache 服 务 器 上 。 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK ， 我 们 开始 吧 | 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e 'class {'horizon': secret_key => 'big'}' 
等 待命 令 执 行 完成 ，Puppet 完 成 了 Horizon 部 署 ， 并 将 其 运行 在 Apache 上 。 
2. 核 心 代码 讲解 


2.1 class horizon 
class horizon 管理 了 以 下 三 个 任务 : 


e Horizon 软 件 包 的 安装 : 
package { 'horizon': 
ensure => $package ensure, 


name => $::horizon::params::package name, 
tag => ['openstack', 'horizon-package'], 


e Horizon 配 置 文件 的 管理 : 


concat { $::horizon::params::config_file: 
mode => '0644', 
require => Package['horizon'], 


concat::fragment { 'local_settings.py': 
target => $::horizon::params::config file, 
content => template($10ocal settings template), 
order => '5Q', 


这 里 说 明 一 下 concat 管 理 配 置 文件 的 方式 ， 在 其 他 模块 中 也 出 现 过 这 种 管理 配置 文 
件 的 方式 ， 而 它 曾 经 流行 过 一 段 时 间 。 


了 解 过 template 的 同学 都 知道 ， 这 是 puppet 管 理 配 置 文件 的 内 置 方式 ， 这 种 方式 的 
优 缺点 非常 明显 ， 其 缺点 就 是 每 次 配置 文件 发 生 新 的 变动 ， 那 么 模板 也 得 保持 同步 
的 更 新 。 


因此 ， 有 人 提出 来 一 种 新 方法 ， 将 模板 文件 拆 为 分 片 (fragment)， 把 保持 不 变 的 配 
置 项 放 到 分 片 1 中 ， 把 频繁 更 新 的 配置 项 放 到 分 片 2 中 ， 然 后 最 后 再 拼接 起 来 
(concat)。 这 种 方法 简化 了 模板 维护 的 成 本 ， 使 得 配置 文件 的 管理 变 得 更 灵活 ， 但 
本 质 上 仍 是 模板 。 


e 管理 Horizon 服 务 的 运行 环境 : 


if $configure_apache { 


class ( '::horizon::wsgi::apache': 
bind_address => $bind_address, 
servername => $servername, 
server_aliases => $final_server_aliases, 
listen_ssl => $listen_ssl, 
ssl_redirect => $ssl_redirect, 
horizon_cert => $horizon_cert, 
horizon_key => $horizon_key, 
horizon_ca => $horizon_ca, 
extra_params => $vhost_extra_params, 
redirect_type => $redirect_type, 
root_url => $root_url 


这 个 类 的 代码 通俗 易 懂 ， 值 得 一 提 的 是 以 下 4 个 参数 ， 若 配合 不 惯 可 能 会 导致 服务 
运行 异常 : 

e keystone_url 

e available_regions 


cache_server_ip 
e secret_key 
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还 有 一 点 是 函数 member 的 使 用 ， 类 似 于 Python 中 的 in ， 用 于 判断 指定 变量 是 否 
存在 于 指定 的 数组 中 ， 第 一 个 参数 是 数组 变量 ， 第 二 个 参数 是 成 员 变 量 : 


if ! (member($tuskar_ui_deployment_mode_allowed_values, $tuskar_u: 
fail("'${$tuskar_ui_deployment_mode}' is not correct value for 





2.1 class horizon: :wsgi: :apache 


horizon: :wsgi::apache 用 于 配置 将 horizon 运 行 在 apache 上 。 


这 里 有 两 点 值得 注意 ， 第 一 点 是 merge 函 数 : 


if $bind_address { 


$default_vhost_conf = merge($default_vhost_conf_no_ip, { ip => 
) else { 


$default vhost conf 


$default vhost conf no ip 


«| — B 








第 二 点 是 函数 ensure_resource: 


ensure_resource('apache::vhost', $vhost_conf_name, merge ($defau. 
redirectmatch_regexp => $redirect_match, 
redirectmatch_dest => $redirect_url, 


t)) 





其 等 价 于 : 


$merged_hash_list = merge ($default vhost conf, $extra_params, { 
redirectmatch_regexp => $redirect_match, 
redirectmatch_dest => $redirect_url, 
}) 
apache: :vhost {"$vhost_conf_name": 
$merged_hash_list 
})) 


4 aT vi 


使 用 ensure resource 的 目的 是 为 了 使 代码 更 简洁 。 


3. 小 结 
本 节 介 绍 了 如 何 使 用 puppet-horizon 模块 部 署 Horizon 服 务 ， 同 时 也 介绍 了 


concat, merge, ensure_resource 等 define 和 function， 合 理 使 用 有 助 于 提高 代码 的 
简洁 和 优雅 。 


4. 动 手 练习 


1. 开启 Horizon SSL 端 口 


. 确保 Horizon 服 务 只 监听 在 内 网 |P 上 
. 如 何 调整 mod_wsgi 的 参数 来 设置 Horizon 运 行 在 三 种 不 同 的 MPM 模 式 : 


prefork, worker winnt 
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本 节 作 者 Ü ng 


建议 阅读 时 间 1h 
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深入 理解 OpenStack 自 动 化 部 署 


ceilometer 是 openstack 的 数据 收集 模块 ， 它 把 收集 OpenStack 内 部 发 生 的 大 部 分 事 
件 ， 为 计 费 和 监控 以 及 其 它 服务 提供 数据 支撑 。ceilometer 的 架构 如 下 : 


2 t 


43 B 
3s 
m 

“2 rE 
g| 2 





ceilometer 服 务 
A RR 说 明 
nc MT 用 于 调用 和 查看 collector 收 集 的 数据 
ceilometer-api 
OAS IIe 用 于 收集 和 记录 polling 和 notification 传 过 来 的 事件 和 计量 
ceilometer- M 
数据 
collector 
See 用 于 监听 消息 队列 ， 把 感 兴趣 的 监听 消息 变 成 Events 和 
EDIT ee Samples > # £ i* #] pipeline ° 
notification 
openstack- 用 于 获取 openstack 组 件 的 信息 ， 并 生成 监控 数据 ， 有 三 
ceilometer-polling 种 启动 类 型 : compute ` central ` ipmi ° 
ceilometer2x 42 
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名 称 说 明 


Sample 某 一 个 时 间 点 获取 到 的 监控 数据 
Event 就 是 一 个 事件 、 一 个 动作 ， 如 创建 虚拟 机 、 创 建 硬盘 等 。 


ceilometer 收 集 数 据 方式 


A R 说 明 
Bus listener agent 通过 监听 消息 队列 来 获取 信息 ， 官 方 首选 。 
Polling agents 通过 调用 API 来 收集 信息 。 


先睹为快 


由 于 ceilometer 依 赖 很 多 服务 ， 所 以 最 好 先 部 署 一 个 openstack， 我 们 可 以 使 用 下 一 
站 章节 的 puppet-openstack-integration 或 devstack 部 署 一 套 简 易 版 openstack。 


部 署 ceilometer : 在 examples/site.pp 里 添加 下 面 的 代码 ,因为 默认 的 site.pp 里 没有 
创建 endpoint,role。 


class { 'ceilometer::keystone::auth': 


password => 'tralalayouyou' # 这 个 参数 是 puppet-openst 


} 
| m ae 





然后 执行 以 下 命令 
# puppet apply examples/site.pp 
等 一 会 ceilometer 就 安装 完成 了 。 验证 : 


# source openrc 


# ceilometer event-list 


核心 代码 讲解 


class ceilometer 


a 


class ceilometer ? & 4£ceilometerZ& ` M P 8 &| i£ ^ Zx 4F 6,89 LR » AMQP 8&9 354: 
及 配置 。 


package { 'ceilometer-common': 
ensure => $package_ensure, 
name => $::ceilometer::params::common package name, 
tag => ['openstack', 'ceilometer-package'], 


puppet-ceilometer 中 对 rpc 的 选择 主要 提供 了 两 种 : RabbitMQ 和 amqp， 所 提供 的 参 
数 如 下 : 


if $rpc_backend in [$::os_service_default, 'ceilometer.openstack 
oslo: :messaging::rabbit {'ceilometer_config': 


rabbit_host => $rabbit_host, 
rabbit_port => $rabbit_port, 
rabbit_hosts => $rabbit_hosts, 
rabbit_userid => $rabbit_userid, 
rabbit_password => $rabbit_password, 
rabbit_virtual_host => $rabbit_virtual_host, 
rabbit_ha_queues => $rabbit_ha_queues, 
} 
} elsif $rpc backend == 'amqp' { 


oslo: :messaging::amqp { 'ceilometer config': 
server_request_prefix => $amqp_server_request_prefix, 


broadcast_prefix => $amqp broadcast prefix, 
group request prefix -» $amqp group request prefix, 
container name -» $amqp container name, 
idle timeout => $amqp idle timeout, 
trace => $amqp trace, 
} 
} else { 





ceilometeri4 4 M oslo 49 oslo::messaging::notificationsfeoslo::cache /& “define 


对 oslo_messaging_notifications 和 cache 两 个 section 进 行 配置 。 


class ceilometer::api 
在 class ceilometer':api 中 先是 定义 了 以 下 几 个 依赖 关系 : 


Ceilometer_config<||> ~> Service[$service name] 
Class['ceilometer::policy'] ~> Service[$service name] 


Package['ceilometer-api'] -> Service[$service name] 
Package['ceilometer-api'] -» Class['ceilometer::policy'] 


在 上 面 的 代码 中 我 们 可 以 看 到 有 两 种 符号 ->' 和 '~>'， 这 两 者 都 是 描述 依赖 ， 只 不 过 
不 同 的 是 ->' 是 在 执行 完 前 面 的 资源 之 后 执行 后 面 的 资源 ， 而 '~>' 则 是 如 果 前 面 的 资 
源 有 变动 执行 后 面 的 资源 。 同 时 ，ceilometer ad 独立 启动 服 
务 和 通过 httpd 管 理 ， ee ee 动 ， es 给 class ceilometer::apit? % 
service_name 参 数 进行 修改 ， 代 码 如 下 


if $service name == $::ceilometer::params::api service name { 
service ( 'ceilometer-api': 
ensure -» $service ensure, 
name => $::ceilometer::params::api service name, 
enable => $enabled, 


hasstatus => true, 
hasrestart -» true, 


require -» Class['ceilometer::db'], 
tag -» 'ceilometer-service', 
} 
} elsif $service_name == 'httpd' { 


include ::apache::params 
service { 'ceilometer-api': 
ensure => 'stopped', 


name => $::ceilometer::params::api service name, 
enable -» false, 
tag -» 'ceilometer-service', 


j 


Class['ceilometer::db'] -» Service[$service name] 


4 we need to make sure ceilometer-api/eventlet is stopped befoi 
Service['ceilometer-api'] -> Service[$service name] 

) else ( 
fail('Invalid service name. Either ceilometer/openstack-ceilome 





其 余 代码 则 是 对 参数 进行 配置 ， 略 过 。 


class ceilometer::collector 


E J+ 


class ceilometer::collector 用 于 安装 ceilometer 的 collector 服 务 ， 依 然 是 装 包 、 配 置 
文件 、 启 动 服务 。 不 过 ， 在 中 间 我 们 发 现 了 一 段 代码 ， 不 是 我 们 原先 熟悉 的 
package 的 方式 安装 ， 而 是 用 了 ensure_resource， 这 两 种 方式 的 不 同 ， 在 于 当 我 
们 使 用 package 的 方式 安装 软件 包 ， 定 义 重 复 时 会 报错 ， 而 ensure_resource 不 会 ， 
代码 如 下 : 


ensure resource( 'package', [$::ceilometer::params: :collector_pac 
{ ensure => $package ensure } 


4 和 和 人 





class ceilometer::db 


class ceilometer::db 应 该 和 db 目录 下 的 几 个 文件 放 在 一 起 看 ，ceilometer 上 默认 使 用 
MySQL 数 据 库 ， 首 先 ceilometer::db::mysql 调 用 ::openstacklib::db::mysql 创 建 
ceilometer 的 数据 库 ， 代 码 如 下 : 


::openstacklib::db::mysql { 'ceilometer': 


user => $user, 

password hash => mysql password($password), 
dbname => $dbname, 

host => $host, 

charset => $charset, 

collate => $collate, 


allowed_hosts => $allowed_hosts, 


然后 触发 dbsync. 而 class ceilometer::db 则 调用 oslo::db 配 置 ceilometer 中 db 相关 参 
数 。 


oslo::db { 'ceilometer_config': 
db_max_retries => $database db max retries, 
connection -» $database connection, 
idle timeout => $database idle timeout, 
min pool size => $database min pool size, 
max retries => $database max retries, 
retry interval => $database retry interval, 
max pool size => $database max pool size, 
max overflow -» $database max overflow, 


class ceilometer::keystone::auth 


ceilometer::keystone::auth2€ 3 X M & &| 3 ceilometer& endpointferole > #4 P 4j ix 
么 一 段 代码 : 


:: keystone: :resource::service_identity { $auth_name : 
configure_user => $configure_user, 
configure_user_role => $configure_user_role, 
configure_endpoint => $configure_endpoint, 


service_type => $service_type, 
service_description => $service_description, 
service_name => $service_name_real, 
region => $region, 

password => $password, 

email => $email, 

tenant => $tenant, 

roles => ['admin', 'ResellerAdmin'], 
public url => $public url real, 
admin url -» $admin url real, 
internal url -» $internal url real, 


我 们 可 以 看 到 这 里 调用 keystone::resource::service_identity 这 个 define 的 时 候 前 面 
有 :: 符 号 ， 这 就 要 讲 到 puppet 中 的 一 个 概念 : 域 。puppet 中 的 域 分 为 4 种 : 顶级 域 、 
节点 域 、 父 域 和 本 地 域 。 在 所 有 的 类 、 定 义 或 节点 之 外 的 就 是 顶级 域 ， 如 在 site.pp 
中 定义 了 一 个 $v 的 参数 ， 那 我 们 可 以 在 任意 位 置 之 中 使 用 $::v 来 调用 它 。 节点 定义 


e 面 的 一 对 大 括号 就 是 节点 域 ， TATE ed EE ACE AAW 
。 父 域 和 本 地 域 的 关系 在 于 继承 ， 如 果 class A 通 过 关键 字 inherits 引 用 了 class 
B，xz 如 下 : 


class AL 
$variable = 'v1' 


} 


class B inherits A { 


么 我 们 可 以 在 class B 中 通过 $::A::variable 的 方式 调用 该 变量 . 


返 过 来 看 我 们 这 段 代码 ， eee oe identity 这 个 调用 前 面 使 
用 :: 是 在 顶级 域 中 搜索 keystone 模 块 ， 这 么 看 是 不 是 就 清晰 多 了 。 


class ceilometer::agent::auth 


class ceilometer::agent::auth 7] F & £ ceilometer ¥ 47keystoneat E > Ki BARA 
， 所 以 在 调用 该 class 的 时 候 必 需 传 该 参数 。 在 class 里 会 把 传 进 的 参数 传 到 
ee ne ceilometer::config 里 调用 。 


class ceilometer::agent::polling 


class ceilometer::agent: em 于 安装 ceilometer polling agent, 当 然 主 要 的 还 

ARE ARF > BRAK E 置 参 数 、 启 动 服 务 。 除 这 之 外 我 们 可 以 看 到 根据 
central namespace ^ iind namespace ` ipmi namespace— 4 ^ X > #47 T 
不 同 的 配置 um 过 inline_template 调 用 ruby 把 namespaces 这 个 数组 转换 为 字 
符 串 。 代 码 如 下 


$namespaces = [$central_namespace_name, $compute_namespace_name, 
$namespaces_real = inline_template('<%= @namespaces.find_all {|x 


E| E SaaS 


inline template H TÆ 43 24% M ik A Aruby » È E m $4 Pp ARA Aaa 3e FIN 
行 ,在 <%= 和 %> 分 隔 符 之 间 的 所 有 代码 都 以 Ruby 代 码 来 执行 。 





class ceilometer::agent::notification 


这 个 class 用 于 配置 ceilometer 的 notification agent， 没 有 什么 好 讲 的 ， 三 步 : 


软件 包 ， 局 动 服务 ， 配 置 参数 。 


在 puppet-ceilometer 模 块 中 还 有 一 些 其 他 的 class, 如 : ceilometer::policy ` 
ceilometer::client 、ceilometer::config 等 ， 就 留 给 读者 自己 去 阅读 了 


动手 练习 

1. 安装 ceilometer， 并 且 安 装 compute 和 central 两 个 客户 端 
2. 配置 ceilometer 运 行 在 httpd 下 

3. 使 用 amqp 替 换 RabbitMQ 


e puppet-ceilometer 

o ceilometer 服 务 

o ceilometer 数 据 
ceilometer 收 集 数据 方式 
o 先睹为快 
o 核心 代码 讲解 

= class ceilometer 


o 


m Class ceilometer::api 

m Class ceilometer::collector 

m class ceilometer::db 

m class ceilometer::keystone::auth 

m class ceilometer::agent::auth 

m class ceilometer::agent::polling 

m Class ceilometer::agent::notification 
o 小 结 


o 动手 练习 


^v 


ye 


puppet-cinder 模 块 介绍 


Oa 人 ON = 


基础 知识 -快速 了 解 keystone 


. 先睹为快 一 一 言 不 和 ， 立 马 动 手 ? 
核心 代码 讲解 一 如 何 管理 cinder 服 务 


小 结 


.动手 练习 一 光 看 不 练 假 把 式 
AP 


作者 : BEY 


建议 阅读 时 间 2 小 时 


基础 知识 
cinder?& t 
。 它 是 一 个 资源 管理 系统 ， 负 责 向 虚拟 机 提供 持久 块 存储 资源 ( 云 硬盘 ) 。 
。 主 要 核心 是 对 卷 的 管理 ， 允 许 对 卷 ， 卷 的 类 型 ， 卷 的 快照 进行 处 理 
e 它 把 不 同 的 后 端 存储 进行 封装 ， 向 外 提供 统一 的 AP|1 。 
eC 它 不 是 新 开发 的 块 设备 存储 系统 ， 而 是 使 用 插件 的 方式 结合 不 同 后 端 存储 的 驱 


动 提供 块 存储 服务 。 


cinder 4j 


controller 节点 





compute 节点 








上 图 环境 是 根据 本 章 的 实验 环境 绘制 
主要 组 件 介绍 


e cinder-api : 主要 服务 接口 , 负责 接受 和 处 理 外 界 的 API 请 求 ， 并 将 请 求 放 入 消 
息 队 列 ， 交 由 其 他 组 件 执行 。 

e cinder-scheduer: 根据 预定 的 策略 选择 合适 的 cinder-volume 节 点 来 处 理 用 户 的 
请 求 ， 如 果 用 户 请 求 中 执行 的 具体 的 存储 节点 则 不 需要 cinder-scheduler 介 入 。 

e cinder-volume: 该 服务 运行 在 存储 节点 ， 通 过 driver 负 责 实际 的 卷 管理 工作 。 

e cinder-backup: 备份 cinder 卷 到 其 他 存储 (swift,ceph 等 )。 


实验 环境 说 明 


e cinder-api/mariadb/rabbitmq 部 署 在 控制 节点 ,cinder-volume/ceph- 
monitor/ceph-osd 部 署 在 存储 节点 (你 也 可 以 把 所 有 服务 部 署 在 同一 节点 ) 

e 部 署 了 两 个 cinder 一 volume, 一 个 使 用 ceph 作 为 存储 后 端 一 个 使 用 lvm 作 为 存 
E 

e 本 实验 环境 依赖 前 面 章 节 部 署 的 mariadb/keystone/ceph/rabbitmq 


先睹为快 


在 讲解 cinder 模 块 之 前 让 我 们 先 使 用 puppet 把 我 们 的 实验 环境 部 署 起 来 ,请 根据 你 的 
具体 环境 修改 learn_cinder.pp 


44 5 learn_cinder.pp 


class ( 'cinder': 


database connection => 'mysql://cinder:secret block password( 
rabbit password -» 'secret rpc password for blocks', 
rabbit host -» 'openstack-controller.example.com', 
verbose -» true, 

} 

class { “cinder: apik: 
keystone_password => $keystone_password, 
keystone_enabled => $keystone_enabled, 
keystone_user => $keystone_user, 
keystone_auth_host => $keystone_auth_host, 
keystone_auth_port => $keystone_auth_port, 
keystone_auth_protocol => $keystone_auth_protocol, 
service_port => $keystone_service_port, 
package_ensure => $cinder_api_package_ensure, 
bind_host => $cinder_bind_host, 
enabled => $cinder_api_enabled, 


class { 'cinder::scheduler': } 
class ( 'cinder::volume': } 
Cinder::backend::rbd {'rbd-images': 


rbd_pool => 'images', 
rbd user => 'images', 


cinder type {'ceph': 
ensure -» present, 
properties => ['volume backend name-rbd-images'], 


class ( 'cinder::backends': 
enabled backends => ['iscsii', 'iscsi2', 'rbd-images'] 


E — —H 














在 终端 执行 以 下 命令 : 


puppet apply -v learn_cinder.pp 


ok? HBR > CAA 1 —Me Ul cephtt 4 5 3$ cinder k 2p- » HR RARE 


source openrc 
openstack volume create test_cinder --size 1 --type ceph 


你 已 经 创建 了 一 个 1G 大 小 的 cinder 卷 
核心 代码 讲解 


Class cinder 


class cinder 非 常 简单 主要 做 了 两 件 核 心 工 作 


e 安装 cinder 基 础 包 
e 配置 cinder.conf 中 的 核心 参数 


软件 包 管 理 
者 将 其 标记 为 总 是 安装 最 新 版 本 ， 我 们 将 会 在 最 佳 实践 部 分 去 介绍 它 。 


package { 'cinder': 
ensure => $package ensure, 


name -» $::cinder::params::package name, 
tag => ['openstack', 'cinder-package'], 
require => Anchor['cinder-start'], 


cinderd S BAKE 


的 参数 是 $package_ensure， 我 们 可 以 指定 软件 包 的 版 本 ， 或 


class cinder 里 管理 了 大 量 的 配置 参数 ， 比 如 db,rpc,az 设 置 等 相关 参数 ， 这 里 不 一 一 
列举 。 这 里 只 一 个 代码 片段 为 例 来 解释 cinder_config 的 用 法 。 和 前 面 介绍 的 
keystone_config 类 似 cinder_config 是 一 个 自 定义 的 resource type， 其 源码 路 径 位 
T 


lib/puppet/type/cinder. config.rb 定义 
lib/puppet/provider/cinder config/ini setting.rb 实现 


在 这 里 我 们 关注 如 何 使 用 ， 在 Advanced Puppet 一 书 中 我 们 将 讲解 如 何 编写 custom 
resource type。 cinder_config 有 多 种 使 用 方法 : 


对 指定 参数 赋值 : 

cinder config ( 'section name/option name': value => option value) 
二 -A 
对 指定 参数 赋值 ， 并 设置 为 加 密 : 


cinder config ( 'section name/option name': value => option value* 


| 





我 们 知道 puppet agent 的 所 有 输出 默认 都 会 被 syslog 打 到 系统 日 

志 /varlog/messages 中 ， 那 么 有 心 人 只 要 用 grep 就 能 从 中 搜 到 许多 敏感 信息 ， 例 
如 : admin token, user. password, keystone db_password 等 等 。 只 要 设置 了 
Secret 为 true 后 ， 那 么 就 不 会 把 该 参数 的 相关 日 志 打 到 系统 日 志 中 。 OK ， 讲 解 就 到 


这 里 ， 我 们 来 看 代码 。 


Cinder_config { 


'DEFAULT/enable v1 api': value -» $enable v1 api; 
'DEFAULT/enable v2 api': value -» $enable v2 api; 
'DEFAULT/enable v3 api': value -» $enable v3 api; 


Class cinder::api 


class cinder::api 主要 配置 和 管理 cinder 的 api 服 务 


管理 服务 


cinder 可 以 作为 一 个 服务 启动 ， 也 可 以 启动 在 apache 下 


if $service_name == $::cinder::params::api_service { 
service { 'cinder-api': 
ensure => $ensure, 
name => $::cinder::params::api service, 
enable => $enabled, 
hasstatus => true, 
require => Package['cinder'], 
tag => 'cinder-service', 
} 
} elsif $service_name == 'httpd' { 


include ::apache::params 
service ( 'cinder-api': 
ensure -» 'stopped', 


name => $::cinder::params::api service, 
enable -» false, 
tag -» ['cinder-service'], 
} 
服务 检查 


调用 cinder list 命 令 来 确 确 认 cinder 服 务 是 否 ready 


if $validate { 
$defaults = { 
'cinder-api' => { 
'command' => "cinder --os-auth-url $(auth uri) --os-tenani 


j 
$validation options hash - merge ($defaults, $validation optior 
create resources('openstacklib::service validation', $validatic 








Class cinder::scheduler 


iX Aclass HILA > JL3EXUR 6, » MAA? PRAARHE 


Class cinder::volume 


同上 


Class cinder::backup 


同上 


Define cinder::backend::backend_name 


后 端的 定义 由 很 多 define 组 成 ， 我 们 举例 我 们 用 到 的 cinder::backend::rbd, 比 较 值得 
注意 的 是 用 define 来 实现 后 端 定义 ， 因 为 在 cinder 中 可 能 有 多 个 同一 类 型 的 后 端 , 比 
如 一 个 cinder 配 置 两 个 ceph 作 为 cinder 存 储 后 端 ， 这 时 候 用 class 实 现 显然 是 不 合适 


的 主要 也 是 调用 cinder_config 来 修改 cinder.conf 文 件 


Cinder_config { 
"${name}/volume_backend_name": 
"${name}/volume_driver": 
"$(name)/rbd ceph conf": 
"$(name)/rbd user": 
"$(name)/rbd pool": 
"$(name)/rbd max clone depth": 


"$(name)/rbd flatten volume from snapshot": 


"$(name)/rbd secret uuid": 
"$(name)/rados connect timeout": 
"$(name)/rados connection interval": 
"$(name)/rados connection retries": 
"$(name?/rbd store chunk size": 


4] — ł 


Class cinder::backends 


由 于 cinder 支 持 多 后 端 ， 这 个 类 主要 用 来 管理 开局 哪些 存储 后 


value 
value 
value 
value 
value 
value 
value 
value 
value 
value 
value 


value 


端 





$volume b: 
"cinder. vc 
$rbd ceph. 
$rbd user, 
$rbd pool, 
$rbd max « 
$rbd flat! 
$rbd_secre 
$rados_cor 
$rados_cor 
$rados_cor 
$rbd_store 


ED | 


调用 cinder_config 来 修改 cinder.conf 


class cinder::backends ( 
$enabled backends = undef, 


TEI 


# Maybe this could be extented to dynamicly find the enabled name 
cinder_config { 
'DEFAULT/enabled_backends': value => join($enabled_backends, ', 





Define cinder::type 


cinder 开 启 多 后 端 后 ， 如 何 确定 要 将 卷 创 建 到 哪个 后 端 呢 ， 这 就 要 有 type 来 决定 . 


define cinder::type ( 


$set_key = undef, 
$set_value = undef, 
# DEPRECATED PARAMETERS 
$os_password = undef, 
$os_tenant_name = undef, 
$os_username = undef, 
$os auth url - undef, 


$os region name = undef, 


Jon 


if $os password or $os region name or $os tenant name or $0os use! 
warning('Parameters $os password/$os region name/$os tenant nar 
warning('Auth creds will be used from env or /root/openrc file 


if ($set value and $set key) { 
if is array($set value) { 
$value - join($set value, ',') 
) else { 
$value - $set value 


J 
cinder type { $name: 
ensure -» present, 
properties => ["${set_key}=${value}"], 
J 
) else ( 
cinder type { $name: 
ensure -» present, 
} 





这 个 关键 的 是 cinder_type, 其 源码 路 径 为 


lib/puppet/type/cinder_type.rb 


lib/puppet/provider/cinder_type/openstack.rb 


ok， 核 心 代码 的 解析 就 到 这 里 ， 后 面 的 像 
cinder::quota,cinder::policy,cinder::logging 等 配置 就 不 在 一 一 解析 , 留 给 读者 课 后 去 
学 习 . 总 之 puppet-cinder 除 了 多 后 端 配置 和 其 他 模块 略 有 不 同 之 外 ,其 余部 分 都 十 分 
相似 ， 是 一 个 比较 容易 学 习 的 模块 . 


动手 练习 


1. 在 另外 一 个 节点 部 署 一 个 cinder-volume ， 并 使 用 lvm 作 存储 后 端 。 


2. 创 建 一 个 新 的 volume-type lvm, 将 该 type 的 卷 存 储 到 lvm 后 端 。 


3. 创 建 一 个 type 为 lvm 的 卷 ， 并 挂 载 到 虚 机 。 


e puppet-cinder 模 块 介绍 
o 基础 知识 
m Cinder 概 述 


a Cinder 架 构 
o 先睹为快 
o 核心 代码 讲解 


Class cinder 

Class cinder::api 

Class cinder::scheduler 

Class cinder::volume 

Class cinder::backup 

Define cinder::backend::backend_name 
Class cinder::backends 

Define cinder::type 


puppet-tempest 


1. 先睹为快 = 一 言 不 合 ， 立 马 动手 ? 
2. 核心 代码 讲解 - 如 何 做 到 管理 tempest 服 务 ? 
o class tempest 


3. 小结 
4. 动手 练习 - 光 看 不 练 假 把 式 
本 节 作 者 : 余兴 起 


阅读 级 别 : 必 读 
阅读 时 间 : 40 分 钟 


Tempest 是 Openstack 的 TUM 试 框架 ， 它 的 实现 基于 python 的 unittest2 测 试 框架 和 
nose 测 试 框架 。Tempest 通 过 Openstack client 发 起 API 请 求 ， 并 且 对 API 响 应 结果 
进行 验证 。 


先睹为快 
我 们 借助 puppet-openstack_integration 模 块 的 tempest.pp 来 完成 tempest 的 部 署 : 


puppet apply -e 'include openstack integration::tempest' 
很 快 我 们 就 能 完成 对 tempest 的 部 署 工作 。 

` N S ` x n 
核心 代码 讲解 


class tempest 


在 tempest 类 中 ， 和 其 他 module 不 同 的 一 点 是 关于 如 何 使 用 源码 来 安装 软件 包 的 技 
I5 o 


先 说 说 ensure packages ^ 4& € | RAGA KA! MY package € X F 3t 1 
下 为 使 用 示例 : 


e Array 7i: 


ensure_packages(['ksh', 'openssl'], {'ensure' => 'present'}) 


e Hash X #: 


ensure packages(('ksh' => { enure => '20120801-1' } ,  'mypack: 








ensure_packages 和 package 的 区 别 


作用 都 是 一 样 的 ， 只 是 在 遇 到 有 多 个 软件 包 需 安装 的 场景 时 ，ensure_packages 使 
用 起 来 代码 更 加 简洁 。 


再 来 看 puppet 如 何 下 载 tempest 源 码 仓库 ， 这 里 用 到 了 我 们 在 基础 模块 章节 讲 到 
的 vcsrepo type : 


if $git clone { 
vcsrepo ( $tempest clone path: 

ensure -» 'present', 
source -» $tempest repo uri, 
revision -» $tempest repo revision, 
provider -» 'git', 
require => Package['git'], 
user => $tempest_clone_owner, 


} 


Vcsrepo<||> -> Tempest_config<| |> 


class tempest 同 时 支持 使 用 venv 的 方式 安装 tempest: 


if $setup_venv { 
# virtualenv will be installed along with tox 
exec { 'setup-venv': 
command => "/usr/bin/virtualenv ${tempest_clone_path}/.ven\ 
cwd => $tempest_clone_path, 
unless => "/usr/bin/test -d ${tempest_clone_path}/.venv", 
require => [ 
Exec['install-tox'], 
Package[$tempest::params::dev packages], 
], 
j 
if $git clone { 
Vcsrepo«||» -> Exec['setup-venv'] 





下 述 的 代码 基本 上 只 是 使 用 tempest_config 在 完成 相应 服务 的 配置 ， 就 不 再 展开 解 


在 这 一 节 中 ， 我 们 了 解 了 _ ensure_packages 函数 的 使 用 ， 也 见 到 vcsrepo 是 如 
何 实现 下 载 源 码 仓 库 的 ， 也 看 到 如 何 用 Puppet 实 现 python 程 序 的 venv 安 装 方式 。 


# 


1. 部 署 tempest 服 务 ， 并 开启 对 sahara，swift 的 支持 2. 对 于 当前 的 puppet- 
tempest， 你 觉得 有 什么 值得 改进 的 地 方 ? 


e puppet-tempest 
o 先睹为快 
o 核心 代码 讲解 
= class tempest 


o 人 小结 


puppet-heat 


1. 先睹为快 - 一 言 不 合 ， 立 马 动手 ? 

2. 核心 代码 讲解 - 如 何 做 到 管理 heat 服 务 ? 
o class heat 

3. 小 结 

4. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : 余兴 超 
阅读 级 别 : 必 读 
阅读 时 间 : 1 小 时 


AWS CloudFormation 服 务 ， 为 用 户 提供 了 编排 AWS 中 的 资源 的 能 力 。Openstack 
社区 在 2012 年 推出 了 类 似 支持 编排 功能 的 服务 Heat。Heat 基 本 的 workflow 是 这 样 


Heat Basic WorkFlow 






Heat CLI 
tools 


—— 





Heat 
Heat API 


CloudWatch 
API 







OpenStack 






的 : 


先睹为快 


在 了 解 完 Heat 后 ， 我 们 首先 通过 快速 部 署 一 个 带 有 heat 所 有 服务 的 环境 来 快速 地 上 
手 ， 首 先 我 们 需要 做 一 点 hack， 在 fixtures/scenario-aio.pp 文件 中 追加 : 


include ::openstack_integration: :heat 


然后 在 终端 下 执行 : 


puppet apply -v fixtures/scenario-aio.pp 
在 执行 完成 后 ， 我 们 通过 systemctl 命 令 ， 可 以 看 到 以 下 服务 并 启动 : 


openstack-heat-api-cfn.service 
openstack-heat-api-cloudwatch.service 
openstack-heat-api.service 
openstack-heat-engine.service 


| H8 


先 在 终端 下 执行 list 命 令 ， 正 常 的 返 





openstack stack list 


接着 我 们 使 用 一 个 简单 HOT 模板 来 验证 一 下 刚才 heat 的 部 署 工 作 是 否 Work， 手 动 创 


建 一 个 test.yaml| 文 件 : 


heat_template_version: 2015-04-30 


description: Simple template to deploy a single compute instance 


resources: 
my_instance: 
type: OS: :Nova::Server 


properties: 
image: a0a885b4- 4045 -4dee-bb91-c163c4ba429a 


flavor: mi.nano 


在 终端 下 输入 以 下 命令 : 


openstack stack create -t test.yaml test 


观察 输出 信息 中 的 stack status reason * @A started ， 则 说 明 stack 创 建 完 
成 : 
Ee Aopoa aooo aaoo aaa aaa Annana Ceres d 
| Field | Value 
TEE Saa a A A a A A A E A 
| id | 89ccfa5b-31c6-4a86-abe9-72c0a44729f8 
| stack_name | test 
| description | Simple template to deploy a single compute 
| creation_time | 2016-05-31T11:50:39 
| updated_time | None 
| stack_status | CREATE_IN_PROGRESS 
| stack_status_reason | Stack CREATE started 
+ 





核心 代码 讲解 


class heat::api 


和 其 他 服务 类 似 ，heat::api 完 成 了 对 heat-api 软 件 包 ， 相 关 配置 文件 和 服务 管理 。 


class heat::api_cfn 

和 其 他 服务 类 似 ，heat::api_cfn 完 成 了 对 heat-api-cfn 软 件 包 ， 相 关 配 置 文件 和 服务 
管理 。 

class heat::api_cloudwatch 

和 其 他 服务 类 似 ，heat::api_cloudwatch 完 成 了 对 heat-api-cloudwatch 软 件 包 ， 相 关 
配置 文件 和 服务 管理 。 

class heat::engine 


和 其 他 服务 类 似 ，heat::engine 完 成 了 对 heat-engine 软 件 包 ， 相 关 配 置 文件 和 服务 
管理 。 这 里 有 一 个 关于 size 和 member 的 用 法 实例 : 


e size 的 作用 是 返回 一 个 字符 串 ， 列 表 或 者 哈 希 的 长 度 。 
e member 有 也 数 则 是 判断 一 个 变量 是 否 为 一 个 列表 的 成 员 。 


$allowed_sizes = ['16', '24', '32'] 

$param_size = size($auth_encryption_key) 

if ! (member($allowed sizes, "${param_size}")) { # lint:ignore:or 
fail("$[param size) is not a correct size for auth_encryption_} 


«| i 








其 他 class 


e heat::client 完 成 对 heatclient 软 件 包 的 安装 配置 

e heat::keystone::auh 完 成 heat user,role,endpoint 的 管理 
e heat::keystone::domain 完 成 默认 heat domain 的 创建 

e heat::db::mysql 完 成 了 heat 数 据 库 的 创建 


Heat 服 务 的 架构 比较 简单 ， 因 此 在 配置 上 并 没有 太 多 复杂 的 地 方 ， 它 的 核心 还 是 在 
于 结合 业务 ， 完 成 HOT 模 板 的 编写 。 


动手 练习 


1. 在 keystone 中 添加 heat-api-cfn user ，service 和 endpoint 
2. 仅 部 署 heat-api 和 heat-engine 服 务 


e puppet-heat 

o 先睹为快 

o 核心 代码 讲解 
m class heat::api 
m class heat::api_cfn 
m class heat::api_cloudwatch 
m class heat::engine 
m 其 他 class 


深入 理解 OpenStack 自 动 化 部 署 
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puppet-swift 模块 


1. 基础 知识 
2. 先睹为快 
3. 核心 代码 讲解 - 如 何 做 到 管理 Swift 服务 ? 
o Class swift 
o Class swift::proxy 
o class swift::storage 
o class swift::keystone::auth 
o class swift::ringbuilder 
o class swift::ringserver 
o class swift::deps 
4. 人 小结 


5. 动手 练习 - 光 看 不 练 假 把 式 


0. 基 础 知识 


Swift 最 初 源 自 于 Rackspace 公 司 开发 的 高 可 用 分 布 式 对 象 存储 服务 CloudFiles， 于 
2010 年 贡献 绘 DpenStack 开 源 社 区 作为 最 早 的 核心 项 目 ， 为 用 户 提供 了 对 象 存 储 ， 
虚 机 镜像 存储 ， 块 设备 快照 存储 等 诸多 功能 。Swift 可 以 运行 在 廉价 的 标准 X86 硬件 
存储 上 ， 无 需 配 置 RAID (磁盘 元 余 阵 列 ) ， 通 过 在 软件 层面 引入 一 致 性 哈 希 算法 和 
数据 宛 余 性 ， 以 牺牲 一 定 的 数据 一 致 性 来 最 终 达 到 高 可 用 性 和 可 伸缩 性 ， 支 持 多 租 
户 模式 、 容 器 和 对 象 读 写 操 作 ， 适 合 解决 非 结 构 化 数据 存储 问题 。 


0.1 Swift 基础 概念 


e IKP (Account) :这 里 账户 不 是 账号 和 密码 的 概念 ， 可 以 理解 为 存储 区 域 
(Storage area) 。 

e && (container) :容器 有 自己 的 metadata， 包 含 了 一 组 object 。 

e 8 (object) :包含 具体 数据 和 metadata ° 

e 集群 (cluster) :表示 一 个 Swift 存储 集群 。 

e [XX (region) :表示 一 个 集群 中 物理 隔离 的 部 分 。 

e 区 (zone) :表示 物理 隔离 的 节点 ， 可 用 于 控制 故障 域 。 

e 节点 (node) :表示 运行 Swift 进程 的 物理 服务 器 。 


深入 理解 OpenStack 自 动 化 部 署 


0.2 Swift 组 件 介 绍 


Swift 服务 由 众多 的 组 件 构成 ， 其 架构 如 下 图 所 示 : 


一 一 一 一 一 





Find location for a given 
name in mappings 






puppet-swift 


sntual consisten: 


Account 
Replicator 


integrity checking 


Container i Account 
Auditor | Auditor 
Eh 


216 


名 称 


swift-proxy- 
server 


swift-account 


swift- 
container 


swift-object 


swift- 
replicator 


swift-updater 


swift-auditor 


swift-account- 
reaper 


authentication 
server 


cache server 


说 明 


对 外 提供 对 象 服务 API， 会 根据 环 的 信息 来 查找 服务 地 址 并 转 
发 用 户 请 求 至 相应 的 账户 、 容 器 或 者 对 象 服务 ; 由 于 采用 无 状 
AM REST 请 求 协 议 ， 可 以 进行 横向 扩展 来 均衡 负载 。 


提供 账户 元 数据 和 统计 信息 ， 并 维护 所 含 容器 列表 的 服务 ， 每 
个 账户 的 信息 被 存储 在 一 个 SQLite 数据 库 中 。 


提供 容器 元 数据 和 统计 信息 ， 并 维护 所 含 对 象 列表 的 服务 ， 每 
个 容器 的 信息 也 存储 在 一 个 SQLite 数据 库 中 。 


提供 对 象 元 数据 和 内 容 服务 ， 每 个 对 象 的 内 容 会 以 文件 的 形式 
存储 在 文件 系统 中 ， 元 数据 会 作为 文件 属性 来 存储 ， 建 议 杀 用 
支持 扩展 属性 的 XFS 文件 系统 。 


会 检测 本 地 分 区 副本 和 远程 副本 是 否 一 致 ， 具 体 是 通过 对 比 散 
列 文件 和 高 级 水 印 来 完成 ， 发 现 不 一 致 时 会 采用 推 式 
(Push) 更 新 远程 副本 ， 例 如 对 象 复 制服 务 会 使 用 远程 文件 
拷贝 工具 rsync 来 同步 ; 另外 一 个 任务 是 确保 被 标记 删除 的 对 
象 从 文件 系统 中 移 除 。 


当 对 象 由 于 高 负载 的 原因 而 无 法 立即 更 新 时 ， 任 务 将 会 被 序列 

化 到 在 本 地 文件 系统 中 进行 排队 ， 以 便服 务 恢复 后 进行 异步 更 

新 ; 例如 成 功 创建 对 象 后 容器 服务 器 没有 及 时 更 新 对 象 列表 ， 

这 个 时 候 容 器 的 更 新 操作 就 会 进入 排队 中 ， 更 新 服务 会 在 系统 
恢复 正常 后 扫描 队列 并 进行 相应 的 更 新 处 理 。 


检查 对 象 ， 容 器 和 账户 的 完整 性 ， 如 果 发 现 比特 级 的 错误 ， 文 
件 将 被 隔离 ， 并 复制 其 他 的 副本 以 履 盖 本 地 损坏 的 副本 ; 其 他 
类 型 的 错误 会 被 记录 到 日 志 中 。 


移 除 被 标记 为 删除 的 账户 ， 删 除 其 所 包含 的 所 有 容器 和 对 象 。 


IS thie 问 用 户 的 身份 言 息 , 并 获得 一 个 对 象 访 问 令 牌 
(Token) ， 在 一 定 的 时 间 内 会 一 直 有 效 ; 验证 访问 令 牌 的 有 
效 性 并 缓存 下 来 直至 过 期 时 间 。 
缓存 的 内 容 包 括 对 象 服务 令 牌 ， 账 户 和 容器 的 存在 信息 ， 但 不 


会 缓存 对 象 本 身 的 数据 ; 缓存 服务 可 采用 Memcached 集群 ， 
Swift 会 使 用 一 致 性 散 列 算法 来 分 配 缓 存 地 址 。 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 


OK， 我 们 开始 吧 | 


Swift 服务 比较 独立 ， 下 面 编写 learn_swift.pp 实 现 all-in-one 部 署 : 


$swift local net ip-'127.0.0.1' 
$swift shared secret-'changeme' 
Exec ( logoutput -» true ) 


package ( 'curl': ensure -» present ) 





class ( '::memcached': 

listen_ip => $swift_local_net_ip, 
} 
Glass ao) esa ie 


# not sure how I want to deal with this shared secret 
swift_hash_suffix => $swift_shared_secret, 


package_ensure => latest, 
} 
# === Configure Storage 
class "Swift storage: 


storage_local_net_ip => $swift_local_net_ip, 


# create xfs partitions on a loopback device and mounts them 
swift::storage::loopback { '2': 
require -» Class['swift'], 


# sets up storage nodes which is composed of a single 
4 device that contains an endpoint for an object, account, and cont 


swift::storage::node { '2': 
mnt base dir => '/srv/node', 
weight == 1 
manage_ring => true, 


zone = 
storage_local_net_ip => $swift_local_net_ip, 


require => Swift::Storage::Loopback[2] , 
} 
class ( ':sswaft::ringbuiilder': 

part power => '18', 

replicas irs eee 


min part hours => 1, 
require -» Class['swift'], 


# TODO should I enable swath in the default config? 

class 4 >= 2switt.: proxy: 
proxy_local_net_ip => $swift_local_net_ip, 
pipeline => ['healthcheck', ‘cache’, 'tempauth', 'prox 
account autocreate => true, 


require => Class['swift::ringbuilder'], 
} 
class { [°:2swift::proxy: :healthcheck’, “2:swift::proxy::cache']: | 
class { *: swift: :proxy::tempauth' : 
account_user_list => [ 
{ 
'user' -» 'admin', 
'account' => 'admin', 
"Key" -» 'admin', 
'groups' => [ 'admin', 'reseller admin' ], 
ty 
{ 
'user' -» 'tester', 
'account' => 'test', 
' key' => 'testing3', 
groups => [], 
ty 





在 终端 执行 以 下 命令 : 
$ puppet apply -v learn_swift.pp 


等 待 Puppet 命 令 执行 完成 ， 一 个 单 节点 的 Swift 节点 部 署 完成 ， 可 以 通过 Swift 命令 行 
工具 来 使 用 你 的 对 象 存储 系统 了 。 


2. 核 心 代码 讲解 


2.1 class swift 
swift 类 用 于 完成 以 下 工作 : 


e 安装 Swift 软件 包 


e 管理 swift.conf 配 置 文件 
B 


Je 


e 管理 Swift 相关 目录 
2.2 class swift::proxy 
swift: :proxy 用 于 配置 Swift proxy 服 务 : 


class swift: :proxy( 
$proxy_local_net_ip, 


$port = '8080', 

$pipeline = ['healthcheck', 'cache', 'tempauth', 
$workers - $::processorcount, 

$allow account management = true, 

$package ensure = 'present', 


$service provider $::swift::params::service provider 


inherits ::swift::params { 


— 


# 所 有 Swift_config 资 源 的 执行 将 触发 swift-proxy-server 的 重启 
Swift_config<| |> ~> Service['swift-proxy-server' ] 


# validate hM TEERAA IRERE > EO TO Be WHF 
validate_bool($account_autocreate) 


validate_bool($allow_account_management ) 
validate_array($pipeline) 


if($write_affinity_node_count and ! $write_affinity) { 
fail('Usage of write affinity node count requires write affini! 


# member HRA T At de] A ER dE dA S 
if(member($pipeline, 'tempauth')) { 
$auth type - 'tempauth' 
j elsif(member($pipeline, 'swauth')) { 
$auth type - 'swauth' 
} elsif(member($pipeline, 'keystone')) ( 
$auth type - 'keystone' 
) else ( 
warning('no auth type provided in the pipeline') 


if(! member($pipeline, 'proxy-server')) { 
warning('pipeline parameter must contain proxy-server') 


if($auth type == 'tempauth' and ! $account autocreate ){ 
fail('account autocreate must be set to true when auth type is 


if ($10g udp port and !$10g udp host) ( 
fail ('log udp port requires log udp host to be set') 


package ( 'swift-proxy': 
ensure => $package ensure, 


name -» $::swift::params::proxy package name, 
tag => ['openstack', 'swift-package'], 
j 
concat ( '/etc/swift/proxy-server.conf': 
owner -» 'swift', 
group -» 'swift', 


require -» Package['swift-proxy'], 


$required_classes = split( 
inline template( 
"<%= 
(@pipeline - ['proxy-server']).collect do |x| 
'swift::proxy::' + x.gsub(/-/){ %q(_) } 
end.join(',') 
do SEE 
concat::fragment ( 'swift proxy': 
target => '/etc/swift/proxy-server.conf', 
content => template('swift/proxy-server.conf.erb'), 
order => '00', 
before => Class[$required_classes], 


Concat['/etc/swift/proxy-server.conf'] -> Swift proxy config «|l: 


Ro 0 0 ÉR 





2.3 class swift::storage 


swift::storage 完成 了 配置 rsync server 的 工作 , 我 们 在 基础 模块 章节 中 已 介绍 
过 ， 这 里 不 再 教 述 。 


2.4 class swift::storage::disk 


swift::storage::disk 是 一 个 重要 的 类 ， 用 于 管理 磁盘 分 区 和 文件 系统 的 创 
ge 


puppet " define swift::storage::disk( $base dir = '/dev', $mnt base dir = 
'"lsrv/node', $byte size = '1024', $ext args =", ) { 


include ::swift::deps 


if('defined(File[mnt base dir])) { file ( $mnt base dir: ensure => directory, owner 
=> 'swift', group => 'swift', require => Anchor['swift::config::begin'], before => 
Anchor['swift::config::end'], } ) 


exec { "create_partition_label-${name}": command => "parted -s 
${base_dir}/${name} mklabel gpt ${ext_args}", path => ['/usr/bin/", '/sbin','/bin'], 
onlyif => ["test -b ${base_dir}/${name}","parted ${base_dir}/${name} print|tail 


-1|grep 'Error"], before => Anchor['swift::config::end'], } 


swift::storage::xfs { $name: device => "${base_dir}/${name}", mnt base dir => 
$mnt_base_dir, byte_size => $byte_size, loopback => false, subscribe => 
Exec['create partition label-$(name]'], } 


} 


ol el te partition_label-${name}"exe 
也 可 以 通过 ext_args 参 数 来 传递 额外 的 parted 参 数 。 例 如 ， 传 入 'mkpart primary 09 


其 次 ， 通 过 声明 swift::storage::xfs 来 指定 磁盘 xfs 文 件 系统 的 格式 化 ， 并 将 其 挂 让 
接 下 来 ， 继 续 解 析 `swift::storage::xfs 代码 。 


### 2.5 swift::storage::xfs 
“swift: :storage::xfs* 完成 以 下 三 项 功能 : 


1. 完 成 xfs 文 件 系 统 的 创建 : 
puppet 
exec { "mkfs-${name}": 
command => "mkfs.xfs -f -i size=${byte_size} ${target_device}", 
path => ['/sbin/', '/usr/sbin/'], 
unless => "xfs admin -1 ${target_device}", 
before => Anchor['swift::config::end'], 


E 





2. 判 断 设备 的 挂 载 类 型 


case $mount_type { 
'path': { $mount device = $target_device } 
'uuid': { $mount device = dig44($facts, ['partitions', $target_ 
unless $mount device { fail("Unable to fetch uuid of 


j 


default: ( fail("Unsupported mount type parameter value: '${mot 


‘| NENNEN 
3. 挂 载 文件 系统 








swift::storage: :mount { $name: 


device => $mount_device, 
mnt_base_dir => $mnt_base_dir, 
loopback => $loopback, 


接 下 来 ， 进 入 到 swift::storage::mount ¥ ° 


2.6 swift::storage::mount 


swift::storage::mount 执行 申 正 的 文件 系统 挂 载 操 作 : 


1. 管 理 指定 的 挂 载 目录 


file { "${mnt_base_dir}/${name}": 
ensure => directory, 
owner => 'swift', 
group => 'swift', 
require => Anchor['swift::config::begin'], 
before => Anchor['swift::config::end'], 


2. 调 用 mount 资 源 和 exec 做 双重 挂 载 


mount { "${mnt_base_dir}/${name}": 
ensure => present, 
device => $device, 
fstype => $fstype, 
options => "${options},${fsoptions}", 


# double checks to make sure that things are mounted 
exec { "mount_${name}": 


command => "mount ${mnt_base_dir}/${name}", 
path => ['/bin'], 
unless => "grep ${mnt_base_dir}/${name} /etc/mtab", 


# TODO - this needs to be removed when I am done testing 
logoutput => true, 
before => Anchor['swift::config::end'], 


3. 管 理 挂 载 目 录 权 限 


exec ( "fix_mount_permissions_${name}": 


command => "chown -R swift:swift ${mnt_base_dir}/${name}", 
path -» ['/usr/sbin', '/bin'], 

refreshonly -» true, 

before -» Anchor['swift::config::end'], 


4 — 


注意 ，refreshonly 属 性 表明 该 资源 的 执行 只 能 通过 被 其 他 资源 触发 。 


2.7 swift::ringbuilder 


swift::ringbuilder 用 于 创建 account, container 以 及 object 的 builder 文 件 ， 并 
HWA swift::ringbuilder::rebalance 对 [ring 文 件 进 行 [ebalance 操 作 。 


class swift: :ringbuilder ( 
$part_power = undef, 
$replicas = undef, 
$min_part_hours = undef 


JSt 


include ::swift::deps 
Class['swift'] -» Class['swift::ringbuilder'] 


swift::ringbuilder::create{ ['object', 'account', 'container']: 
part power -» $part power, 
replicas => $replicas, 
min_part_hours => $min_part_hours, 
Swift: :Ringbuilder::Create['object'] -> Ring object device «| |» 
Swift::Ringbuilder::Create['container'] -» Ring container device 


Swift::Ringbuilder::Create['account'] -» Ring account device «| 


swift::ringbuilder::rebalance{ ['object', 'account', " container 


El E z 





2.8 swift::ringserver 
此 类 的 工作 : 


e 通过 创建 一 个 rsync 服 务 器 来 启动 一 个 ringdatabase 服 务 
小 结 


本 章 咱们 介绍 了 swift 的 相关 概念 ， 通 过 一 个 小 列子 来 部 署 一 套 all-in-one 的 swift 环 
境 ， 并 且 讲 解 了 puppet-swift 相 关 核 心 代码 中 的 一 些小 知识 点 。 


动手 练习 


深入 理解 OpenStack 自 动 化 部 署 


如 何 部 署 一 个 多 节点 的 swift 的 集群 了 要 求 一 个 API 节 点 ， 一 个 Stoage 节 点 。 


e puppet-swift 模 块 

o 0. 基 础 知识 
a 0.1 Swift 基础 概念 
0.2 Swift 组 件 介绍 

o 1. 先 睹 为 快 

o 2. 核 心 代码 讲解 
m 2.1 class swift 
m 2.2 class swift::proxy 
m 2.3 class swift::storage 
m 2.4 class swift::storage::disk 
m 2.6 swift::storage::mount 
m 2.7 swift::ringbuilder 
m 2.8 swift::ringserver 

o 小 结 


o 动手 练习 
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puppet-trove 


1. 基础 知识 - Reik T AF trove 服务 
2. 先睹为快 = 一 言 不 合 ， 立 马 动手 ? 
3. 核心 代码 讲解 - 如 何 管理 trove 服务 ? 
o class trove 
o class trove::api 
o class trove::conductor 
o class trove::taskmanager 
4. 人 小结 
5. 动手 练习 


本 节 作者 : Baa 
阅读 级 别 : 选读 
阅读 时 间 :2h 


基础 知识 


Trove 是 一 个 DBaaS 服务 ， 它 能 够 利用 OpenStack 云 平 台中 的 资源 ， 让 用 户 能 够 
以 自助 的 方式 快速 的 构建 和 管理 数据 库 服务 。trove 支持 多 种 数据 库 ， 包 括 关系 型 
和 非 关系 型 数据 库 ， 例 如 
MySQL/MariaDB/PostgreSQL/MongoDB/Canssandra/Redis/Couchbase 等 等 。 
trove 将 这 些 数据 库 的 管理 功能 抽象 成 了 统一 的 接口 提供 给 用 户 使 用 。 


使 用 trove 服务 能 够 帮助 用 户 减 少数 据 库 的 部 署 ， 配 置 和 维护 成 本 ， 能 够 更 轻松 的 
使 用 各 种 不 同 的 数据 库 服务 。trove 通过 调用 Nova/Cinder/Swift 等 其 他 OpenStack 
服务 来 进行 资源 的 编排 。 


trove 服务 有 下 面 这 些 组 件 : 


e trove-api， 对 外 提供 REST-ful 的 API 

e trove-taskmanager， 监 听 在 消息 队列 上 ， 负 责 完成 虚拟 机 实例 的 启动 ， 以 及 实 
例 的 整个 生命 周期 的 管理 ， 并 对 数据 库 进 行 管 理 操作 

e trove-guestagent， 运 行 在 虚拟 机 实例 内 部 ， 监 听 在 消息 队列 上 ， 负 责 对 数据 
库 进 行 管理 的 运 维 操作 

e trove-conductor， 接 收 庶 拟 机 示例 发 送 的 信息 ， 并 更 新 各 个 实例 的 状态 ， 它 的 


作用 类 似 于 nova-conductor 


这 些 组 件 之 间 以 及 与 其 他 OpenStack 服务 之 问 的 关系 如 下 : 


Tesora Database OpenStack 
as Service/Trove 


NSTANCE 


( SQUNOSOL) 


CINDER 





NOWLNSN 
3NO1LSA3y 














先睹为快 


部 署 trove 服务 需要 依赖 于 其 他 的 OpenStack 组 件 ， 因 此 建议 先 部 署 核心 的 
OpenStack 组 件 ， 最 后 部 署 trove 服务 。 可 以 使 用 puppet-trove 模块 的 示例 代码 来 
部 署 trove 服务 : 


puppet apply trove/examples/site.pp 


代码 中 使 用 trove::client 来 部 署 客 户 端 组 件 ， 使 用 

: :trove::api / ::trove::conductor / ::trove::taskmanager 来 部 署 trove 
的 各 个 服务 。 使 用 ::trove::keystone::auth 类 来 完成 keystone 相关 资源 的 
创建 ， 使 用 ::trove::db::mysql 来 完成 数据 库 的 创建 。 


class trove 


这 
trove 进行 基础 配置 (例如 nova/neutron/cinder 等 服务 的 访问 URL) ， 并 且 定 义 了 
一 些 消 息 队 列 ， 数 据 库 相关 的 参数 ， 供 各 个 服务 使 用 。 


例如 ， 下 面 的 代码 使 用 trove config 配置 了 nova 的 访问 URL: 


if $nova_compute_url { 


trove config { 'DEFAULT/nova compute url': value => $nova_compt 
} 
else { 


trove_config { 'DEFAULT/nova_compute_url': ensure => absent } 








class trove::api 


由 于 众多 OpenStack 模块 都 使 用 oslo 公共 库 ， 这 些 服务 都 需要 进行 oslo 相关 的 配 
置 ， 这 些 配置 在 trove 模块 中 被 抽象 成 为 单独 的 类 ， 来 进行 响应 的 配 

置 ， trove::db 用 于 oslo.db 相关 的 配置 ， trove::logging 用 于 oslo.log 相 
关 的 配置 


trove::api 中 ， 调 用 了 trove: :db 来 进行 数据 库 配置 ， 调 用 
trove::logging 来 进行 日 志 相 关 的 配置 。 


trove::api 还 使 用 了 puppet-oslo 模块 中 的 define 资源 来 进行 oslo 相关 的 
配置 ， 例 如 ， 进 行 MQ 相关 的 配置 : 


oslo: :messaging: 


‘rabbit {'trove_config' 


rabbit_hosts => $::trove::rabbit_hosts, 
rabbit_host => $::trove::rabbit host, 

rabbit port -» $::trove::rabbit port, 

rabbit ha queues -» $::trove::rabbit ha queues, 
rabbit userid => $::trove::rabbit userid, 
rabbit password => $::trove::rabbit password, 
rabbit virtual host => $::trove::rabbit virtual host, 
rabbit use ssl => $::trove::rabbit use ssl, 
kombu reconnect delay -» $::trove::kombu reconnect delay, 
amqp durable queues -» $::trove::amqp durable queues, 
kombu. ssl ca certs => $::trove::kombu ssl ca certs, 
kombu. ssl certfile => $::trove::kombu ssl certfile, 
kombu ssl keyfile => $::trove::kombu ssl keyfile, 
kombu ssl version => $::trove::kombu ssl version 


KF puppet-oslo 模块 相关 的 细节 可 以 参考 本 书 对 puppet-oslo 模 


党 块 的 介 


绍 。 这 里 


值得 注意 


的 是 在 代码 中 直接 调用 了 trove 


这 个 类 中 的 变 


量 使 用 ， 为 什么 


trove::api 能 够 使 用 trove 类 中 的 变量 呢 ， 这 时 因为 trove::api 使 用 
inherits 继承 了 trove 类 ， 关 于 inherits 的 用 法 ， 可 以 参考 这 里 

class trove::conductor 
trove-conductor 服务 的 部 署 也 比较 简单 ， 和 trove-api 类 似 ， 配 置 一 些 基 础 配置 和 
oslo 相关 配置 ， 就 可 以 局 mae 在 puppet-trove 模块 总 ， 服 务 的 管理 都 是 使 用 

trove::generic_service 这 个 define 资源 来 完成 的 ， 例 如 ，trove-conductor 
服务 的 使 用 : 

trove::generic service { 'conductor' 
enabled => $enabled, 


manage_service => $manage_service, 


package name => $::trove::params: 


service_name => $::trove::params:: 


ensure_package => $ensure_package, 


:conductor package name, 
conductor service name, 


class trove::taskmanager 


trove-taskmanager 服务 的 部 署 和 trove 其 他 服务 也 是 类 似 的 ， 唯 一 需要 注意 的 是 
trove-taskmanager 类 中 也 对 guest-agent 的 配置 文件 进行 了 管理 ， 管 理 使 用 的 是 
模板 的 方式 : 


file { $guestagent_config_file: 
content => template('trove/trove-guestagent.conf.erb'), 
require => Anchor['trove::install::end'], 


trove 服务 的 部 署 比 较 简单 ， 使 用 puppet 能 够 方便 的 部 署 起 trove 服务 起 来 ， 如 果 
it — = 2] trove 服务 的 使 用 ， 可 以 参考 openstack 官方 的 文档 。 


动手 练习 


e. 部 署 trove 服务 ， 制 作 一 个 基于 mysql 的 镜像 ， 并 导入 到 trove 中 
e 使 用 mysql 镜像 启动 数据 库 实例 


e puppet-trove 
o 基础 知识 
o 先睹为快 
m class trove 
m class trove::api 
m class trove::conductor 
m class trove::taskmanager 
o 小 结 


o 动手 练习 
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1. 基础 知识 - 欲 知 部 署 之 必 先 了 解 之 
o 1.1 Why Sahara? 
o 1.2 Sahara 的 几 个 概念 
o 1.3 Sahara 组 件 介绍 
o 1.4 谈 谈 Sahara 部 署 
2. 先睹为快 - 一 言 不 合 ， 立 马 动 手 ? 
3. 核心 代码 讲解 - 如 何 做 到 管理 keystone 服 务 ? 
o 3.1 Openstack 服 务 部 署 套路 
o 3.2 数据 库 配 置 
o 3.3 Sahara 服 务 认 证 配置 
o 3.4 Sahara 配 置 管理 
o 3.5 Sahara 服 务 安 装 和 局 动 
4. 人 小结 
5. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : 付 广 平 


建议 阅读 时 间 2h 
基础 知识 


Why Sahara 


近年 来 大 数据 可 谓 如 火 如 茶 ， 哪 个 企业 不 说 搞 大 数据 都 要 被 嘲讽 技术 落后 ， 程 序 员 
不 张口 周口 MapReduce、Nosql 都 不 敢 说 自己 学 计算 机 的 。 而 谈 到 大 数据 就 必然 提 
到 Hadoop/Spark， 似 乎 谈 大 数据 就 等 价 于 说 Hadoop/Spark 。 


如 今 Hadoop 再 也 不 是 当初 的 HDFS、MapReduce、Hbase 这 么 简单 了 ， 现 在 大 家 
谈 的 Hadoop 人 往往 表示 的 是 一 个 庞大 的 Hadoop 生 态 回 ， 包 括 了 YARN、Spark、 
Sqoop、Hive、Impara、Alluxio 等 组 件 。 面 对 如 此 庞大 复杂 的 分 布 式 系统 ， 面 临 的 
首要 挑战 问题 就 是 如 何 快 速 、 高 效 部 署 和 维护 。 


当面 临 小 规模 集群 时 ， 我 们 也 许 并 不 需要 构建 一 套 复 杂 的 自动 化 部 署 工 具 ， 只 需要 
从 官方 下 载 jar 包 分 发 到 集群 的 各 个 节点 ， 手 动 一 一 配置 即 可 完成 简单 Hadoop 集 群 

部 署 。Hadoop 部 署 非常 灵活 的 同时 也 造成 部 署 架 构 复 杂 ， 并 且 一 旦 规模 大 时 ， 手 

动 部 署 方式 往往 提 襟 见 肘 ， 调 试 和 维护 难度 系数 直线 上 升 。 


面临 以 上 集群 部 署 和 维护 的 诸多 痛 点 问题 ， 很 多 公司 基于 社区 版 本 开发 了 自己 的 
Hadoop 产 品 发 行 版 以 及 一 套 完整 的 自动 化 部 署 工具 ， 这 些 工具 不 仅 能 够 支持 节点 
自动 发 现 以 及 可 视 化 部 署 ， 还 能 实时 监控 集群 的 健康 状态 。 主 流 的 包括 Cloudera 公 
司 开 发 的 cloudera-manager 工 具 ， 支 持 在 Web 页 面 快速 部 署 大 规模 CDH 集 群 ， 
Hortonworks 公 司 开发 的 Ambari 工 具 也 支持 在 Web 页 面 上 交互 来 完成 HDP 集 群 的 部 
署 。 这 些 工具 大 大 简化 了 部 署 和 监控 流程 ， 降 低 了 维护 成 本 。 


以 上 工具 虽然 很 好 地 完成 了 Hadoop 和 集群 的 自动 化 部 署 和 监控 ， 但 其 部 署 工具 本 身 
往往 还 需要 手动 部 署 ， 并 且 直 接 构 建 在 物理 集群 之 上 ， 难 以 实现 资源 的 按 需 使 用 以 
及 弹性 扩展 ， 也 不 利于 通过 云 服务 的 形式 快速 交付 。 


Openstack Sahara 旨 在 基于 laaS 之 上 自动 化 部 署 Hadoop 集 群 ， 不 仅 支持 原生 
Hadoop、Spark、Storm 的 快速 部 署 ， 还 集成 了 目前 主流 的 部 署 工 具 ， 比 如 前 面 提 
到 的 cloudera-manager 以 及 Ambari。 也 就 是 说 ， 通 过 Sahara 能 够 分 分 钟 部 署 一 个 
CDH 或 者 HDP 集 群 。 


不 仅 如 此 ，Sahara 还 实现 了 MapReduce 即 服务 的 接口 ， 通 过 Sahara API 能 够 在 
Web 页 面 上 方便 地 创建 DataSource， 然 后 通过 表单 上 传 Jar 包 即 可 提交 Hadoop 
Job， 使 开发 者 只 需要 专注 于 业务 开发 本 身 ， 而 不 需要 关注 底层 实现 ， 大 大 提高 了 


Sahara 是 Openstack 的 高 层 服务 ， 构 建 在 Nova、Cinder、Neutron、Heat 等 服务 之 
上 。 本 章 接 下 来 将 重点 讨论 如 何在 Openstack 平 台 上 部 署 Sahara 组 件 。 


Sahara 的 几 个 概念 

本 小 节 简 单 介绍 下 Sahara 涉 及 的 几 个 概念 ， 主 要 针对 感 兴 趣 的 读者 能 够 快速 了 解 
Sahara， 这 些 内 容 和 部 署 关系 不 大 ， 读 者 可 直接 跳 过 本 节 

Sahara 主 要 包含 以 下 几 个 概念 : 


e Plugin : 即 Hadoop 集 群 插 件 ， 不 同 的 发 行 版 和 版 本 插件 不 同 ， 如 创建 CDH 集 
群 使 用 cdh 揪 件 、 创 建 Spark 使 用 spark 播 件 等 ， 类 似 于 驱动 (driver) 的 概念 。 
e Image : Sahara 创 建 集群 的 每 一 个 节点 其 实 都 是 一 台 虚 拟 机 ，1mage 即 指定 虚 


拟 机 使 用 的 镜像 ， 不 同 的 插件 对 应 的 镜像 不 同 ， 使 用 前 必须 和 插件 绑 定 ， 即 注 
册 镜 像 。 通 常 每 个 插件 的 镜像 都 会 包含 CentOS 和 Ubuntu 两 种 版 本 镜像 。 
e Node Group Template : 节点 模板 ， 即 定义 虚拟 机 模板 ， 主 要 和 包含 以 下 内 容 : 
o 插件 : 定义 使 用 的 Hadoop 集 群发 行 版 和 版 本 。 
o 资源 : 该 节点 使 用 的 Flavor、Availability Zone、volume 卷 大 小 、 安 全 组 
o 进程 组 : 定义 该 节点 启动 什么 服务 ， 比 如 namenode ， datanode ，spark- 
master,spark-slave,hue ° 
o Hadoop 配 置 参数 : 比如 
hdfs client java heapsize,hadoop job_history_dir 等 ， 不 同 的 发 行 版 配置 
项 不 同 。 

e Cluster Template : 集群 模板 ， 定 义 集群 拓扑 和 规模 大 小 ， 集 群 模板 由 Node 
Group Template 组 合 而 成 ， 定 义 一 个 集群 由 几 个 datanode、 几 个 spark-worker 
构成 等 ， 同 时 还 定义 Hadoop 的 一 些 配置 信息 ， 比 如 HDFS 副 本 数 等 。 

e Cluster : 集群 实例 ， 已 经 创建 的 实例 ， 集 群 实例 由 集群 模板 创建 。 集 群 实 例 还 
支持 扩容 和 缩 容 操 作 ， 增 加 或 者 减少 node 个 数 。 
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它 大 多 数 服务 一 样 ，Sahara 同 样 需要 依赖 于 消息 队列 、 数 据 库 等 基础 组 件 。 


最 开始 Sahara 只 包含 sahara-api 一 个 服务 ， 负 责 响应 用 户 请 求 、 访 问 数 据 库 、 创 建 

集群 等 所 有 工作 ， 造 成 单 服务 负载 过 高 并 且 缺 乏 HA 支 持 。 社 区 于 是 提出 了 下 一 代 架 
构 (https://wiki.openstack.org/wiki/Sahara/NextGenArchitecture)， 新 架构 把 sahara- 
api 拆 分 成 两 个 服务 : 


e sahara-api: 和 大 多 数 Openstack API 服 务 类 似 ， 主 要 为 用 户 提供 RESTFul API 
接口 。 

e sahara-engine: 负责 执行 用 户 的 各 项 任务 ， 包 括 创建 集群 和 提交 用 户 提交 的 
Job 等 。 


访问 数据 库 也 单独 分 离 出 了 一 个 独立 的 模块 ， 称 之 为 sahara-conductor， 但 注意 和 
nova-conductor 不 一 样 ， 它 只 是 一 个 模块 ， 而 不 是 一 个 服务 ， 后 期 可 能 会 发 展 成 一 
个 独立 的 服务 来 接管 数据 库 访问 工作 。 


Sahara 官 方 的 新 架构 图 如 下 : 
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Sahara 服 务 相 对 来 说 还 是 比较 简单 的 ， 只 包含 sahara-api 和 sahara-engine 两 个 服 
务 。 下 一 小 节 中 将 开始 介绍 Sahara 的 部 署 问题 。 
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Cluster 





谈 谈 Sahara 部 署 


前 面 提 到 sahara 服 务 相 对 简单 ， 但 不 得 不 说 ， 部 署 起 来 却 大 小 坑 不 计 其 数 。Sahara 
的 工作 原理 本 不 应 该 在 这 里 提 及 ， 但 在 不 了 解 其 工作 原理 的 前 提 下 部 署 Sahara， 可 
以 毫 不 夸张 地 说 : No Way! 


由 于 篇 幅 有 限 ， 对 Sahara 工 作 原理 感 兴趣 的 读者 可 以 参考 官方 文档 或 者 阅读 源码 ， 
本 文 给 出 的 简化 工作 流程 仅 供 参考 : 


e 验证 集群 。 主 要 检查 集群 模板 是 否 合 法 ， 比 如 HDFS 没 有 部 署 namenode、 
datanode 数 少 于 HDFS 副 本 数 等 都 属于 不 合法 的 集群 。 

e 调用 Heat 创 建 资源 ， 比 如 虚拟 机 、 网 络 、volume、 安 全 组 等 。 

e 通过 ssh 配置 集群 并 启动 集群 服务 ， 配 置 工作 包括 更 新 hosts 文 件 、 修 改 
Hadoop xml 文 件 等 ， 启 动 服务 如 ResourceManager、NodeManager、 
Datanode、Namenode 等 等 。 

e 若 集成 的 是 厂商 部 署 工具 ， 则 还 需要 调用 其 API 部 署 集群 ， 比 如 调用 Cloudera- 
manager RESTFul API 创 建 集群 等 。 

e 等 待 所 有 服务 启动 完成 后 ， 集 群 创建 完成 。 


从 以 上 步骤 可 知 ，Sahara 部 署 前 必须 先 部 署 Heat 服 务 ， 在 M 版 本 后 这 是 必需 的 ，M 
版 之 前 可 以 使 用 direct engine， 目 前 已 经 被 彻底 废弃 。 


sahara- eae 车 接 虚 拟 机 完成 集群 配置 的 ， 因 此 sahara-engine 必 须 能 
够 和 虚拟 机 所 在 网 络 连 


目前 sahara-engine 连 通 虚 拟 机 的 方式 有 以 下 几 种 : 


e flat private network， 这 种 方式 不 支持 Neutron 网 络 ， 不 考虑 。 

e floating IPs， 即 给 所 有 虚拟 机 分 配 公 有 IP， 通 过 公有 I|P 访 问 虚拟 机 。 

e network namespace， 通 过 网 络 命名 空间 访问 虚拟 机 ，sahara-engine 必 须 部 署 
在 网 络 节点 ， 且 不 支持 多 网 络 节点 情况 ( 想 想 为 什么 ?)。 

e agent 模 式 ， 这 个 尚未 实现 ， 主 要 想 参 考 Trove 的 agent 模 式 ， 通 过 消息 队列 通 


信 
3 o 


以 上 4 种 方式 其 实 只 有 中 间 两 种 方式 可 用 ， 但 若 集成 厂商 的 Hadoop 发 行 版 部 署 工具 

UN > 不 支持 network namespace 模 式 ， 

为 即使 能 通过 进入 netns 方 式 ssh 连 接 虚 拟 机 ， 也 不 可 能 调用 虚拟 机 内 部 的 API 服 务 
( 除 12 eee 。 简 而 言 之 ，CDH 和 HDP 不 支持 netns 模 式 。 


因此 ， 若 要 通过 Sahara 部 署 CDH 或 者 HDP 集 群 ， 请 使 用 floating IPs 模 式 ， 并 开局 
虚拟 机 自动 分 配 floating ip 功能 。 


Sahara 大 多 数 配 置 项 和 其 它 服务 类 似 ， 比 如 日 志 配 置 、RabbitMQ 配 置 、 认 证 配置 
等 等 ，Sahara 专 有 的 需要 注意 的 配置 项 如 下 ( 均 
在 /etc/sahara/sahara.conf 的 DEFAULT 配置 组 ): 


e use floating ips : 若 sahara-engine 配 置 使 用 浮动 IP 访问 虚拟 机 ， 则 需要 
设置 为 True ， 此 时 建议 配置 hova 配 置 
项 auto assign floating ip 为 True ， 否 则 创建 集群 时 堵塞 直到 用 户 手 
动 分 配 浮 动 IP © 

e use neutron :使 用 Neutron 网 络 设置 为 True ， 否 则 若 使 用 废弃 的 nova- 
network 设置 为 False 。 

e use namespaces : 若 sahara-engine 使 用 network namespace 方 式 访问 虚拟 
机 ， 需 要 设置 该 配置 项 为 True 。 

e Use_rootwrap : 该 配置 项 需要 设置 为 True ， 否 则 Ssh 连接 虚拟 机 时 出 错 。 

e rootwrap command : 设置 为 "sudo sahara-rootwrap 

/etc/sahara/rootwrap.conf" ， 原 因 同 上 。 

plugins : 开启 的 插件 列表 ，N 版 本 前 插件 列表 是 静态 配置 的 ，N 版 本 后 可 以 

动态 配置 

e proxy command : sahara-engine 使 用 net ns 访问 虚拟 机 时 ssh 的 
ProxyCommand 参 数 ， 上 默认 值 为 'ip netns exec ns for [network id) 


nc {host} {port}' œ 


关于 Sahara 的 高 可 用 ，sahara-api 由 于 是 HTTP 服 务 ， 高 可 用 肯定 是 没有 问题 的 ， 
创建 多 个 实例 并 放 在 LB 之 上 即 可 。 


但 sahara-engine 虽 然 和 nova-conductor、nova-scheduler 等 服务 一 样 都 是 消息 消费 
服务 ， 你 可 以 通过 部 署 多 实例 来 提高 服务 的 可 用 性 ， 但 并 不 能 说 实现 了 高 可 用 。 
Sahara 的 任务 通常 都 是 分 阶段 的 长 任务 ， 比 如 创建 一 个 集群 大 概 需 要 数 分 钟 时 间 ， 
但 一 个 任务 只 能 由 一 个 sahara-engine 实 例 全 程 负 责 ， 如果 中 途 挂 了 ， 其 它 sahara- 
engine 实 例 并 不 能 接管 工作 。 尤 其 注意 在 集群 扩容 操作 时 ， 如 果 Ssahara-engine 和 奔 
溃 了 ， 将 导致 集群 可 能 永远 处 于 中 间 状 态 ， 甚 至 导致 集群 次 痪 。 


OK : UEGRI MAS > HAMS] FEF A p 明白 Sahara 应 该 怎么 部 署 。 
Sahara 只 有 两 个 服务 ，sahara-api 通 常 部 署 在 控制 节点 ， 而 sahara-engine 部 署 在 哪 
个 节点 取决 于 连接 虚拟 机 使 用 何 种 访问 模式 ， 2 己 的 答案 了 。 

OK °’ Let the elephant fly on our Openstack! 


先睹为快 


前 面 介 绍 了 Sahara 基 (ku) 础 (zao) 知 识 ， 提 到 Sahara 部 署 时 需要 注意 的 几 个 问题 。 
我 们 已 经 知道 若 sahara- o 浮动 ip 连接 虚 ae ， 则 sahara-engine 无 所 谓 部 
署 在 哪个 节点 了 ， 只 要 保证 能 够 连通 虚拟 机 即 可 ， 通 常 我 们 会 部 署 在 控制 节点 上 。 
社区 为 此 在 puppet-sahara 中 a 了 专门 的 类 同时 在 一 个 节点 中 部 署 sahara-api 和 
sahara-engine， 使 一 键 部 署 sahara 测 试 环境 成 为 可 能 


puppet apply -v puppet-sahara/examples/basic.pp 


以 上 命令 执行 完毕 ， 一 个 单 节 点 Sahara 环 境 就 已 经 部 署 完 成 了 。 


不 过 正如 前 面 所 说 ，Sahara 是 一 个 高 层 服 务 ， 依 赖 于 底层 Openstack 基 础 服务 ， 
因此 在 部 署 Sahara 前 请 务必 保证 Keystone、Nova、Cinder、Glance、Heat、 
Neutron 等 能 够 正常 工作 。 


核心 代码 讲解 


Openstack 服 务 部 署 套路 


在 使 用 自动 化 工具 部 署 任何 系统 之 前 ， 首 先 你 得 了 解 需 要 部 署 系统 的 工作 原理 ， 并 
能 手动 部 署 之 。 手 动 部 署 过 Openstack 的 一 定 知 道 部 署 Openstack 服 务 的 套路 ， 无 
论 你 部 署 Nova， 还 是 部 署 Cinder、Glance 甚 至 Heat， 基 本 都 是 这 个 套路 : 


. 创建 数据 库 。 

. 通过 Keystone 创 建 用 户 、 服 务 、endpoint 等 。 
下 载 必 要 包 。 

. 修改 配置 ， 主 要 包括 RabbitMQ、 数 据 库 连接 等 配置 。 
,调用 xxxx-manager 创 建 数 据 库 的 表 。 

启动 服务 。 


OO 上 wwN = 


值得 庆幸 的 是 ，Sahara 部 署 也 完全 遵循 Openstack 服 务 的 部 署 套 路 ， 除 了 套路 里 色 
人 钨 的 东西 ， 几 乎 没有 其 它 任何 额外 新 鲜 工 作 。 这 里 就 不 再 重复 介绍 手动 部 署 过 程 
了 ， 感 兴趣 的 读者 可 以 参考 Openstack 大 数据 项 目 Sahara 实 践 总 结 。 


无 论 采 用 何 种 方式 部 署 ， 万 变 不 如 其 中 ， 其 实 自动 化 部 署 工 具 就 是 替代 我 们 手动 禹 
的 命令 ， 实 现 步骤 是 完全 一 样 的 ， 接 下 来 将 分 析 puppet-sahara 各 个 模块 实现 以 及 
与 我 们 手动 部 署 时 对 应 的 步骤 如 何 关联 起 来 的 。 


数据 库 配 置 


首先 看 sahara::db 这 个 类 ， 该 类 位 于 项 目 根 路 径 下 ， 主 要 定义 数据 库 的 一 些 全 
局 通用 配置 ， 这 些 配置 是 脱离 于 使 用 mysql 还 是 postsql 的 ， 类 定义 的 原型 如 下 : 


Class sahara::db ( 

$database db max retries = $::0s service default, 

$database connection = 'mysql*pymysql://sahara:secreteQlocall 

$database idle timeout = $::0s service default, 

$database min pool size = $::0s service default, 

$database max pool size = $::0s service default, 

$database max retries = $::0s service default, 

$database retry interval - $::0s service default, 
$ 


$database max overflow = $::0s service default, 


<] E ee 





接 下 来 在 sahara::db::mysql 是 专门 针对 使 用 mysql 数 据 库 的 配置 ， 源 码 如 下 : 


class sahara: :db: :mysql( 


$password, 

$dbname = 'sahara', 

$user = 'sahara', 

$host = '127,0.0-4", 

$allowed_hosts = undef, 

$charset = 'utf8', 

$collate = 'utf8 general ci', 
) í 


validate_string($password) 


: :openstacklib::db::mysql{ 'sahara': 


user => $user, 
password_hash => mysql_password($password), 
dbname => $dbname, 
host => $host, 
charset => $charset, 
collate => $collate, 
allowed_hosts => $allowed_hosts, 
} 
: :0penstacklib::Db::Mysql['sahara'] ~> Exec<| title == 'sahara-dł 





Ee | 


以 上 相当 于 调用 ::openstacklib::db::mysql 创建 数据 库 ， 对 应 部 署 套路 第 一 


& o 


最 后 我 们 通知 执行 Exec<| title == 'sahara-dbmanage' ， 这 其 实 就 相对 于 对 
应 套路 第 5 条 ， 源 代码 为 : 


class sahara: :db: :sync( 
$extra_params = '--config-file /etc/sahara/sahara.conf', 


) d 


include ::sahara::params 


Package «| tag == 'sahara-package' |» ~> Exec['sahara-dbmanage' | 
Exec['sahara-dbmanage'] ~> Service «| tag == 'sahara-service' |> 


Sahara config «||» -> Exec['sahara-dbmanage' | 
Sahara config «| title == 'database/connection' |» ~> Exec['saha) 


exec { 'sahara-dbmanage': 


command => "sahara-db-manage ${extra_params} upgrade head", 
path => '/usr/bin', 
user => 'sahara', 


refreshonly => true, 
try_sleep => 5, 


tries => 10, 
logoutput => on_failure, 
tag => 'openstack-db', 





以 上 几 个 类 共同 协作 完成 了 Sahara 数 据 库 表 的 初始 化 。 


Sahara 服 务 认证 配置 
认证 配置 对 应 A ESF ， 主 要 包括 调用 Keystone API 创 建 sahara 用 户 、 服 


Z ` endpoint% > a 实现 在 sahara::keystone::auth ， 该 类 的 
实现 和 前 面 几 个 服务 非常 类 似 ， 如 Nova、Cinder 等 ， 再 次 不 再 重复 ， 有 兴趣 的 读者 
可 以 直接 阅读 源码 。 


Sahara 配 置 管理 


Sahara 配 置 文件 主要 包括 /etc/sahara/sahara.conf 和 /etc/sahara/api- 

paste.ini 两 个 文件 ， 其 中 /etc/sahara/sahara.conf 绝 大 多 数 配 置 项 

由 init.pp 下 的 sahara 类 管理 ， 使 用 形 如 xyz/key:value 的 键 值 对 保存 ,其 
中 xyz 表示 所 在 的 配置 组 ， key 表示 配置 项 名 称 ， 后 面 的 value 是 配置 项 的 
值 ， 样 例如 下 


sahara_config { 


"DEFAULT/plugins': value => join(any2array($plugins: 
'DEFAULT/use neutron': value -» $use neutron; 
'DEFAULT/use floating ips': value -» $use floating ips; 

' DEFAULT/host': value -» $host; 

'DEFAULT/port': value -» $port; 


'DEFAULT/default ntp server': value -» $default ntp server; 





RT sahara 类 中 定义 的 配置 参数 ， 在 sahara::config 中 可 定义 一 些 额 外 配置 
' 通常 通过 hieradata 定 义 。 


另外 除了 基本 配置 外 ， 和 大 多 数 其 它 服 务 一 样 ， 对 应 类 
为 sahara::policy ， 该 类 实现 和 其 它 服务 类 似 ， 这 里 不 再 重复 介绍 。 


该 步骤 对 应 手动 部 署 套 路 第 4 条 。 


Saharak $< X fe 


前 面 我 们 已 经 知道 Sahara 由 sahara-api 和 sahara- ， 分别 对 应 的 类 
为 sahara::service::api 和 sahara::service::engine ， 这 两 个 类 都 定义 了 
包 的 安装 、 服 务 配 置 等 。 以 api 服 务 为 例 ， 其 核心 代码 为 : 


class sahara::service::api ( 


$api_workers = $::o0S_workers, 
$enabled = true, 
$manage service = true, 
$package_ensure = 'present', 

et 


include ::sahara::policy 
include ::sahara::params 


Sahara_config<||> ~> Service['sahara-api' ] 
Class['sahara::policy'] ~> Service['sahara-api' ] 


package ( 'sahara-api': 
ensure -» $package ensure, 
name => $::sahara::params::api package name, 
tag => ['openstack', 'sahara-package'], 
notify => Service['sahara-api'], 

} 


service { 'sahara-api': 


ensure => $service_ensure, 
name => $::sahara::params::api_service_name, 
enable => $enabled, 


hasstatus => true, 

hasrestart => true, 

require => Package['sahara-api'], 
tag => 'sahara-service', 


以 上 可 以 很 清晰 地 从 代码 看 出 ， 该 类 就 是 对 应 部 署 套 路 的 第 3 条 和 第 6 条 。 


小 结 


在 这 里 ， 我 们 介绍 了 puppet-sahara 的 核心 代码 实现 以 及 各 个 模块 完成 的 工作 ， 通 
过 和 手动 部 署 套路 联系 在 一 起 ， 相 信 读 者 能 更 容易 理解 代码 的 原理 。 当 然 该 module 
还 有 许多 重要 的 class 我 们 并 没有 涉及 ， 例 

如 : sahara::logging ， sahara::nofity 等 等 。 这 些 就 留 给 读者 自己 去 阅读 
代码 了 ， 当 然 在 后 期 的 版 本 中 ， 我 也 会 进一步 去 完善 puppet-sahara 的 核心 代码 内 


动手 练习 


1. 使 用 puppet-sahara 部 署 Sahara， 要 求 sahara-engine 支 持 net_ns 访问 模式 。 
2. 想 想 为 什么 sahara-engine 使 用 net ns 访问 虚拟 机 不 支持 多 网 络 节点 情况 。 


e Puppet-sahara 模 块 介绍 
e 基础 知识 
o Why Sahara 

Sahara 的 几 个 概念 
Sahara 组 件 介 绍 

o 谈 谈 Sahara 部 署 

o 先睹为快 
核心 代码 讲解 

o Openstack 服 务 部 署 套路 

o 数据 库 配 置 

o Sahara 服 务 认证 配置 

o Sahara 配 置 管 理 

o Sahara 服 务 安装 和 启动 
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puppet-manila 


. 基础 知识 - 快速 了 解 manila 服务 
2. 先睹为快 - 一 言 不 合 ， 立 马 动 手 ? 
， 核心 代码 讲解 - 如 何 管理 manila 服务 ? 
o class manila 
o class manila::db 
o class manila::api 
o class manila::scheduler 
o class manila::share 
o class manila::backends 
o define manila::backend::glusternfs 
4. 小 结 
5. 动手 练习 


本 节 作 者 : 周 维 宇 
阅读 级 别 : 选读 
阅读 时 间 :2h 


基础 知识 

manila 是 一 个 "Shared Filesystems as a service" 服务 ， 通 过 driver 不 同 的 后 端 共享 
存储 系统 来 给 提供 共享 文件 存储 

manila 服务 有 下 面 这 些 组 件 : 


e manila-api， 对 外 提供 REST-ful 的 API 
e manila-scheduler ， 根 据 预 定 的 策略 选择 合适 的 manila-share 节 点 来 处 理 用 户 请 
e manila-share， 通 过 driver 处 理 实 际 的 创建 创建 共享 卷 等 请 求 


先睹为快 


2H manila 服务 需要 依赖 于 其 他 的 OpenStack 组 件 ， 因 此 建议 先 部 署 核心 的 
OpenStack 组 件 ， 最 后 部 署 manila 服务 。 另 外 由 于 我 们 选用 nfs 作 为 存储 后 端 ， 所 
以 你 要 先 部 署 一 个 nfs server 。 


# 请 根据 你 的 实际 部 署 情况 修改 参数 
class { ‘manila’: 
sql connection => 'mysql://manila:secret manila passwordQopen: 


rpc. backend -» 'rabbit', 

rabbit password -» 'secret rpc password for manila', 
rabbit host -» 'openstack-controller.example.com', 
verbose -» true, 


class (mama a 
keystone password => $keystone password, 
keystone_auth_host => $keystone_auth_host, 
OS region name -» 'DEFAULT' 
} 
class {'manila::scheduler': 
scheduler driver => 'manila.scheduler.filter scheduler.FilterS: 
} 
class {'::manila::share': 
package_ensure => $package_ensure 


} 


manila::backend::glusternfs {'nfs': 


glusterfs_target => [remoteuserQ]«volserver»:/«vo: 
glusterfs_mount_point_base => '/nfs', 
glusterfs_nfs_server_type => 'Gluster', 


glusterfs_path_to_private_key => 'ssh_private_key_path', 
glusterfs_ganesha_server_ip, => 'ganesha_server_ip', 


E — —— X 





核心 代码 讲解 


class manila 


manila 这 个 类 用 于 安装 openstack-manila 基础 包 ， 同 时 使 用 manila_config 来 管理 
日 志 / 消 息 队 列 /SSL 等 参数 


例如 ， 下 面 的 代码 使 用 manila config 配置 了 SSL 相 关 的 参数 : 


# SSL Options 
if $use ssl { 
manila config { 
'DEFAULT/ssl cert file' : value => $cert file; 
'DEFAULT/ssl key file' : value -» $key file; 
} 
if $ca_file { 
manila config { 'DEFAULT/ssl_ca_file' 
value => $ca_file, 
} 
+} else ( 
manila config { 'DEFAULT/ssl ca file' 
ensure -» absent, 


} 
} 
} else { 
manila_config { 
'DEFAULT/ssl_cert_file' : ensure => absent; 
'DEFAULT/ssl_key_file' : ensure => absent; 
'DEFAULT/ssl_ca_file' : ensure => absent; 
} 
} 


class manila::db 


调用 manila config 来 进行 数据 库 相 关 的 配置 ,比较 有 意思 的 是 下 面 这 段 代码 


validate_re($database_connection_real, 
'A(sqlite|mysql(\+pymysql)?|postgresql) :\/\/(\S+:\S+@\S+\/\S+)‘ 


# 根据 不 同 的 数据 库 后 端 来 执行 不 同 的 操作 
if $database connection real { 
case $database connection real ( 
/\mysql(\+pymysql)?:\/\//: { 
require 'mysql::bindings' 
require 'mysql::bindings::python' 
if $database connection real =~ /Amysql\+pymysql/ { 
$backend package - $::manila::params::pymysql package nar 
) else { 
$backend package - false 


j 
/^postgresql1:N/N//: ( 
$backend package = false 
require 'postgresql::lib::python' 
E 
/^sqlite:\/\//: { 
$backend_package = $::manila::params: :sqlite_package_name 
y 
default: { 
fail('Unsupported backend configured') 





class manila::api 
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class manila::scheduler 


class manila::share 


同上 


class manila::backends 


配置 开启 哪些 存储 后 端 


class manila::backends ( 
$enabled share backends = undef 


)i 


# Maybe this could be extented to dynamicly find the enabled name 
manila config { 
'DEFAULT/enabled share backends': value => join($enabled share. 





define manila::backend::glusternfs 


4 通过 manila_config 来 修改 manila 配 置 

manila_config { 
"${share_backend_name}/share_backend_name": value =: 
"${share_backend_name}/share_driver": value =: 
"${share_backend_name}/glusterfs_target": value =: 
"€fshare_backend_name}/glusterfs_mount_point_base": value = 
"${share_backend_name}/glusterfs_nfs_server_type": value =: 
"$(share backend namej/glusterfs path to private key": value =: 
"$(share backend namej)/glusterfs ganesha server ip": value =: 





manila 服务 的 部 署 比 较 简 单 ， 使 用 puppet 能 够 方便 的 部 署 起 manila 服务 起 来 ， 如 
果 想 进一步 学 习 manila 服务 的 使 用 ， 可 以 参考 openstack 官方 的 文档 。 


深入 理解 OpenStack 自 动 化 部 署 


动手 练习 
e 部 署 manila 服务 ， 创 建 两 台 云 主机 和 一 个 共享 卷 并 挂 载 


e puppet-manila 
o 基础 知识 
o 先睹为快 
o 核心 代码 讲解 
= class manila 
m class manila::db 
m class manila::api 
m class manila::scheduler 
m class manila::share 
m class manila::backends 
m define manila::backend::glusternfs 
o 小 结 


o 动手 练习 
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puppet-rally 


.基础 知识 
2. 先睹为快 - 一 言 不 合 ， 立 马 动手 ? 
， 核心 代码 讲解 - 如 何 做 到 管理 Rally 服 务 ? 
o class rally 
o class rally::settings 
4. 小结 
b. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : 余兴 超 
阅读 级 别 : 选读 
阅读 时 间 : 40 分 钟 


基础 知识 


Rally 项 目 是 Openstack 性 能 测试 服务 ， 可 以 被 用 于 Openstack Cl/CD 中 的 基本 工 
具 链 中 ， 以 提高 Openstack 的 SLA。 下 图 给 出 了 Rally 与 
Deployment,Verify,Benchmark 之 间 的 关系 以 及 其 执行 流程 。 不 过 Rally 当 前 的 主要 
工作 仍然 集中 在 benchmark 上 ， 社 区 的 进度 比较 缓慢 。 


Major Rally actions 


Cloud 
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Major Rally actions 


采 构 简介 


Openstack 大 多 数 项 目 属于 as-a-service 类 型 ， 因 此 Rally 提 供 了 service 和 CLI 两 种 方 
式 : 


e Rally as-a-Service 以 web service 方 式 对 外 提供 服务 
e Rally as-an-App 作为 轻 量 级 命令 行 工具 使 用 


NO 


深入 理解 OpenStack 自 动 化 部 署 


Rally as a APP Rally Core 


Rally CLI 
SIN ODER python: app Magic that verifies 
| benchmarks & deploys 


OpenStack 





Rally as a Service 


process) 
Rally CLI ocal 
Rally Manager TE 
"T orchestrator 





local 
Íocá Manager 
d i RPC API 


Rally DB.API 
Ral 
pilo lib AMOP sqlalchemy 


messaging 
REST API DBMS 
pecan AMQP mysq / postgres / sqlite 


先睹为快 


puppet-rally 模 块 目 前 没有 使 用 Release 机 制 管理 ， 请 使 用 master 分 支 代码 





HTTP RPC API 
oslo 





在 终端 下 执行 以 下 命令 : 


puppet apply -e ‘include rally' 
然后 就 可 以 开始 使 用 rally 了 ， 是 不 是 sO easy? 


核心 代码 讲解 


puppet-rally 模块 中 ， 我 们 主要 介绍 class rally 和 class 
rally::settings 
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class rally 


include ::rally::db  # 配 置 数据 库 
include ::rally::logging # 配 置 日 志 
include ::rally::settings #rally.conf 配 置 文件 


# Keep backward compatibility 
$openstack_client_http_timeout_real = pick($::rally::settings::o[ 


# rally 软 件 包 的 安装 

package ( 'rally': 
ensure -» $ensure package, 
name => $::rally::params::package name, 
tag => ['openstack', 'rally-package'], 


} 

# 是 否 清理 非 Puppet 管 理 的 配置 

resources { 'rally config': 
purge => $purge config, 





class rally::settings 


rally 配 置 文件 中 涉及 到 各 个 服务 的 参数 设置 ， 以 cinder 为 例 ， 在 [benchmark] 下 就 有 
以 下 参数 : 


e $volume create poll interval 
e $volume create prepoll delay 
e $volume create timeout 

e $volume delete poll interval 
e $volume delete timeout 


在 puppet-rally 模块 下 ， 将 各 服务 的 参数 设置 ， 拆 为 单独 的 class， 放 置 在 
settings/ 目 录 下 ， 统 一 被 rally::settings 调用 : 


class rally: 


:settings ( 


$project domain 


$resource deletion timeout 


$resource management workers = 


$user domain 


$openstack client http timeout = 


) i 


# 管 理 rally 各 服务 的 配置 


include : 
include : 
include : 
include : 
include : 
include : 
include : 
include : 
include : 
include : 


:cinder 
:ec2 

: glance 
: heat 

: ironic 
:manila 
:murano 
:nova 

: sahara 
: swift 


O 0 € H 


undef, 


::os_service_default, 
::os_service_default, 
::os_service_default, 
::os_service_default, 


4 此 类 等 待 https://review.openstack.org/#/c/337412/ 被 Merge 


include : 


rally config { 


:rally::settings: 
:rally::settings: 
‘rally: :settings: 
:rally::settings: 
rally: :settings: 
‘rally: :settings: 
‘rally: :settings: 
‘rally: :settings: 
‘rally: :settings: 
‘rally: :settings: 
‘rally: :settings: 


: tempes 


t 


'cleanup/resource deletion timeout': 


'users context/project domain' 


'users context/resource management workers': 


'users context/user domain': 


value 
value 
value 
value 


=> $resource 
=> $project_ 
=> $resource 
=> $user_dor 





本 节 简 要 介绍 了 Rally 服 务 以 及 如 何 使 用 puppet-rally 模块 部 署 Rally 服 务 。 当 
前 ，Rally 服 务 作为 Openstack 平 台 的 性 能 测试 项 目 ， 目 前 的 使 用 场景 还 是 比较 有 限 


的 ， 因 为 当前 Rally 只 能 支持 API 级 别 的 性 能 测试 ， 


并 且 多 数 API 的 后 端 操作 是 异步 


的 ， 如 果 只 关注 API 的 响应 结果 ， 意 义 不 大 。 不 过 值得 庆幸 的 是 ，Rally 项 目 有 来 自 
内 两 家 公司 的 core reviewer (Kun Huang 和 Li Yingjun) ， 我 们 期 待 着 Newton 版 
本 中 Rally 的 发 展 和 变化 。 


动手 练习 


1. 设置 glance_image_create _ timeout 为 60s 
2. 使 用 MySQL 替 换 默 认 的 SQlite 作 为 数据 库 后 端 
3. 当前 puppet-rally 能 否 支 持 从 源码 安装 Rally? 需要 如 何 修改 ? 


e puppet-rally 
o 基础 知识 
架构 简介 
o 先睹为快 
o 核心 代码 讲解 
= class rally 
m Class rally::settings 
o 小 结 


o 动手 练习 


puppet-designate 


. DNS 基础 知识 

. 快速 了 解 designate 

. 先睹为快 一 一 言 不 合 ， 立 马 动手 ? 
. 核心 代码 一 如 何 管理 designate 服 务 
. designate 原 理 

. designate 使 用 场景 

小 结 

动手 练习 
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本 节 作 者 : BRM 
阅读 级 别 : 


建议 阅读 时 间 2 小 时 


DNS 


想 要 搞 懂 Designate 项 目 ， 没 有 正确 的 DNS 姿 势 怎 么 行 ? 所 以 先 别 急 ， 我 们 先 来 聊 
一 聊 DNS 的 那些 事 。 


DNS 简介 


DNS 的 全 称 是 Domain Name System， 负 责 主 机 名 和 互联 网 络 地 址 之 问 的 映射 。 在 
我 们 上 网 或 者 发 送 电子 邮件 的 时 候 ， 一 般 都 会 使 用 主机 名 而 不 是 IP 地 址 ， 因 为 前 者 
便于 我 们 记忆 ， 但 是 对 于 计算 机 来 讲 ，TCP/IP 网 络 中 要 求 每 一 个 互 连 的 计算 机 都 具 
有 其 唯一 的 IP 地 址 ， 并 基于 这 个 IP 地 址 进行 通信 。DNS 能 够 帮助 我 们 将 主机 名 转换 
成 具体 的 IP 地 址 。 从 而 完成 主机 之 间 的 通信 。 


DNS 层级 结构 


DNS 是 一 个 层级 的 分 布 式 的 数据 库 ， 以 C/S 架 构 工作 ， 它 将 互联 网 名 称 (域名 ) 和 
IP 地 址 的 对 应 关系 记录 下 来 ， 可 以 为 客户 端 提供 名 称 解析 的 功能 。 它 允许 对 整个 数 
据 库 的 各 个 部 分 进行 本 地 控制 ， 人 和 借助 备份 和 缓存 机 制 ，DNS 将 具有 足够 的 强壮 性 。 


DNS 数据 库 以 层级 的 树 状 结构 组 织 ， 最 顶级 的 服务 器 被 称 为 [HRI (root) ， 以 . 

表示 ， 它 是 所 有 子 树 的 根 。root 将 自己 划分 为 多 个 子 域 (subdomain) ， 这 些 子 域 
包括 com，net，org，gov，net 等 等 ， 这 些 子 域 被 称 为 顶级 域 (Top Level Domain, 
TDL) 。 再 进一步 ， 各 顶级 域 再 将 自己 划分 成 多 个 子 域 ， 子 域 还 可 以 在 划分 子 域 ， 

最 后 树 的 叶子 节点 就 是 某 个 域 的 主机 名 。 整 个 结构 如 下 图 所 示 : 


ROOT 


e M c 
1R ( Root) 


e org o org o com o net 


CN f 


es 二 级 域 ( Second Level Domain ) 
e wikipedia e kernel e example 





顶级 域 ( Top Level Domain, TDL ) 


Jo example.com 的 子 域 
it 
wp 


主机 www 





每 个 域 的 名 称 服务 器 仅 负责 本 域内 的 主机 的 名 称 解析 ， 如 果 需 要 解析 子 域 的 主机 ， 
就 需要 再 向 其 子 域 的 名 称 服务 器 查询 。 这 样 一 来 ， 无 论 主机 在 哪个 域内 ， 都 可 以 从 
根 开 始 一 级 一 级 的 找到 负责 解析 此 主机 名 称 的 域 ， 然 后 完成 域名 解析 。 


BIND DNS / 44 


BIND 是 由 Berkely 大 学 研发 的 一 款 开 源 DNS 服 务 器 程序 ， 它 是 目前 世界 上 使 用 最 为 
广泛 的 DNS 服务 器 软件 ,支持 各 种 unix 平 台 和 windows 平 台 。 在 CentOS 系统 中 ， 由 
bind 软 件 包 提供 安装 。 
Bind 的 两 个 配置 文件 : 


e /etc/named.conf : 主要 规范 主机 的 设 定 、zone file 的 所 在 、 权 限 的 设 定 等 ; 
主要 配置 如 下 : 


options { 
listen-on port 53 { 127.0.0.1; }; 
directory "/var/named"; // 指 定 DNS 区 域 文 件 存放 目录 
dump-file "/var/named/data/cache_dump.db"; 


statistics-file "/var/named/data/named_stats.txt"; 


// 定 义 DNS 监 听 在 哪个 IP 的 特定 


// 上 默认 服务 器 存放 疼 


memstatistics-file "/var/named/data/named_mem_stats.txt"; 


allow-query { any; }; 


recursion no; // 定 义 是 否 允 许 DNS 服 务 器 做 递归 查询 


// 定 义 允 许 哪些 主机 可 以 查询 本 地 的 DNS 服务 





e 正 反 解 资料 库 档 案 (zone file) : /varnamed/ 目 录 下 ， 一 个 zone file 由 多 条 资源 记 
录 组 成 。 

$TTL 1D 

@ IN SOA LinuxMaster.test.com. admin.test.com. ( 
2016092605 ; serial 
21600 ; refresh 
3600 ; retry 
604800 ; expire 
86400 ) ; minimum 


IN NS LinuxMaster 


DNS/R 2- Z5 3 7 
服务 器 类 型 作用 
缓存 服务 器 不 负责 解析 ， 仅 为 加 速 ， 不 需要 注册 
主 DNS 服 务 器 负责 解析 本 地 客户 端 请 求 
辅助 DNS 服务 ， 辅助 服务 器 的 区 域 数 据 都 是 从 主 服 务 器 复制 而 来 ， 其 数据 都 是 
器 只 读 的 
缓存 服务 器 需要 配置 : 


options { 


forward only; // FER S RAS ZS) Forwarders? 
forwarders { 

BOB BH B Ba // 定 义 转发 请 求 目的 IP 
J; 


}; 
«| m 








Master DNS 服务 器 需要 配置 : 


zone "test.com" IN { 
type master, 
file "test.com.zone"; 


oF 
Slave DNS 服务 器 需要 配置 : 


zone "test.com" IN { 
type slave; 
masters {ip;}; 
file "slaves/test.com.zone"; 


Hh 


Slave 必 须要 与 Master 相 互 搭配 ， 当 要 修改 一 条 记录 时 ， 只 要 手动 更 改 Master 那 部 
机 器 的 zone file， 重 新 启动 BIND 这 个 服务 后 (或 者 等 待 一 定时 间 ) ，slave 会 自动 
同步 这 条 更 改 的 记录 。 基本 上 ， 不 论 Master 还 是 Slave 的 资料 库 ， 都 会 有 一 个 代表 


该 资料 库 新 旧 的 『 序 号 ]， 这 个 序号 数值 的 大 小 ， 会 影响 是 否 要 更 新 的 动作 。 至 于 
更 新 的 方式 主要 有 两 种 : 


e Master 主 动 告知 : 例如 在 Master 在 修改 了 资料 库 内 容 ， 并 且 加 大 资料 库 序 号 
后 ， 重 新 启动 DNS 服务 ， 那 master 会 主动 告知 slave 来 更 新 资料 库 ， 此 时 就 能 
够 达成 资料 同步 ; 

e 由 Slave 主 动 提出 要 求 : 基本 上 ，Slave 会 定时 的 向 Master 察 看 资料 库 的 序 
当 发 现 Master 资 料 库 的 序号 比 Slave 自 己 的 序号 还 要 大 (代表 比较 新 )， 那 么 


Slave 就 会 开始 更 新 。 如 果 序 号 不 变 ， 那 么 就 判断 资料 库 没 有 更 动 ， 因 此 不 会 
进行 同步 更 新 。 


DNS 资源 记录 类 型 


资源 记录 : 标准 的 资源 记录 具有 其 基本 格式 :Inamel ttl] IN 
type — rdata 
IN 此 字段 用 于 将 当前 记录 标识 为 一 个 INTERNET 的 DNS 资源 记录 
type ”类 型 字段 ， 用 于 标识 当前 资源 记录 的 类 型 
data ， 用 于 描述 资源 的 信息 且 长 度 可 变 的 必要 字段 ， 随 CLASS 和 TYPE 的 变化 


而 变化 


每 个 区 域 数 据 库 文件 都 是 由 资源 记录 构成 的 。type 的 值 主要 有 : SOAR ` NSHE 
^ A35 ^ CNAME x ^ MX Te PTRHO X ° 


ee 描述 — 4) 8 
A aat n 
= Bus 

用 于 一 个 区 域 的 开始 ，SOA 记 录 后 的 所 有 信息 均 是 指出 当 
起 始 授 权 结 用 于 控制 这 个 区 域 的 ， 每 个 区 域 数 据 库 文件 都 必须 包 前 区 域 
GOR) 使 一 个 SOA 记 录 ， 并 且 必 须 是 其 中 的 第 一 个 资源 记 。 ”内 谁 是 


录 ， 用 以 标识 DNS 服务 器 管理 的 起 始 位 置 ，SOA 说 主 DNS 
明 能 解析 这 个 区 域 的 dns 服务 器 中 哪个 是 主 服 务 器 。 服务 器 


将 域名 
即 是 A 记录 ， 也 称 为 主机 记录 ， 是 DNS 名 称 到 IP 地 址 FOND 
主机 (A) | 人 映射 到 
的 映射 ， 用 于 正 向 解析 。 
IP 正 向 
解析 
将 A 记 
录 指 向 
别名 CNAME 记 录 ， 也 是 别名 记录 ， 用 于 定义 A 记 录 的 别 的 域名 
(CNAME) 名 。 指向 另 
外 一 个 
域名 
指出 当 
六 和 JL Ay Be > o Je ` 前 区 域 
邮件 交换 器 邮件 交换 器 记录 V 用 于 告知 邮件 服务 器 进程 将 邮件 发 内 
人 = 送 到 指定 的 另 一 台 邮 件 服务 器 。 (该 服务 器 知道 如 何 Tp 
次 由 Pc 29 终 2 2 
将 邮件 传送 到 最 终 目的 地 ) WEE 
4 ZIP 
指出 当 
NS 记录 ， 用 于 标识 区 域 的 DNS 服务 器 ， 即 是 说 负责 前 区 域 
名 称 服务 器 ， 此 DNS 区 域 的 权威 名 称 服务 器 ， 用 哪 一 台 DNS 服 务 AA JU 
(NS) d 器 来 解析 该 区 域 。 一 个 区 域 有 可 能 有 多 条 ns 记录 ， 个 DNS 
例如 zz.com 有 可 能 有 一 个 主 服务 器 和 多 个 辅助 服务 服务 器 
器 。 在 提供 
服务 
将 IP 解 
ne 是 IP 地 址 到 DNS 名 称 的 映射 ， 用 于 反 向 解析 。 为 域 
FQDN 
DNS X P 3% 


dig 是 Linux 下 常用 的 DNS 查询 工具 ， 在 CentOS 系 统 中 ， 由 bind-utils 软 件 包 提 供 ， 它 
的 使 用 方法 为 : 


dig -t RRT NAME [@NAME_SERVER] 


其 中 ，RRT 表 示 资 源 记 录 类 型 ，NAME 表 示 查 询 的 地 址 ，@NAME_SERVER 可 以 
指定 DNS 服务 器 ， 如 果 不 指定 则 使 用 操作 系统 默认 的 DNS 服务 器 。 


例如 ， 查 询 www.kernel.org 的 IP 地 址 : 


dig -t A www.kernel.org @114.114.114.114 


; <<>> DiG 9.8.3-P1 <<>> -t A www.kernel.org 0114.114.114.114 

;; global options: +cmd 

;, Got answer: 

;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 55431 

;; flags: qr rd ra; QUERY: 1, ANSWER: 4, AUTHORITY: 0, ADDITIONAL: 


;; QUESTION SECTION: 
;www.kernel.org. IN A 


;; ANSWER SECTION: 


www.kernel.org. 36 IN CNAME pub.all.kernel.org. 
pub.all.kernel.org. 36 IN A 149.20.4.69 
pub.all.kernel.org. 36 IN A 198.145.20.140 
pub.all.kernel.org. 36 IN A 199.204.44.194 


;; Query time: 28 msec 

;; SERVER: 114.114.114.114453(114.114.114.114) 
;; WHEN: Tue Feb 7 11:15:11 2017 

;; MSG SIZE rcvd: 102 


十  '— —— CÓ 





基础 知识 


Designate} 4 


Designate = OpenStack#J DNSaaS 2244 > Č A OpenStack & J AF IRF : 


e 域 和 备案 管理 的 REST API 

e 多 租户 

e 集成 了 Keystone 认 证 

e 在 框架 中 整合 了 Nova 和 Neutron 通 知 (自动 生成 相应 记录 ) 


e 支持 PowerDNS 和 Bind9 开 箱 


Designate 的 架构 图 如 下 : 
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简介 


接收 来 自 远 端 用 户 的 HTTP/HTTPS 请 求 ， 通 过 Keystone 验 证 远 端 
用 户 的 合法 性 ， 将 HTTP/HTTPS 请 求 传递 给 Central 模 块 。 


业务 逻辑 处 理 核心 。 响 应 API 请 求 以 及 处 理 Sink 所 监听 到 的 来 自 
Nova 和 Neutron 的 特定 通知 事件 。 同 时 会 存 取 数据 库 ， 对 业务 逻 
辑 处 理 所 产 生 的 数据 进行 持久 化 存储 。 


实现 了 标准 的 DNS Notify 和 Zone Transfer 的 处 理 。 


连接 后 端 驱动 ， 管 理 DNS 服务 器 池 ， 与 MiniDNS 配 合同 步 DNS 服 
务 器 的 域名 以 及 资源 记录 等 数据 。 


监听 来 自 Nova 和 Neutron 的 某 些 事件 ， 用 于 自动 生成 域名 资源 记 
录 ， 比 如 当 监 听 到 Nova 的 compute.instance.create.end 事 件 通知 
后 ， 自 动 创建 一 条 对 应 于 刚 创 建 的 实例 的 A 记录 ; 当 监 听 到 
Nuetron 的 floatingip.update.end 事 件 通知 后 ， 自 动 更 新 一 条 相应 
的 人 记录 。 


uu, 


a 


器 的 池 划 管理 


Designate kilo 版 本 所 引入 的 pool manager 机 制 将 DNS 服务 器 群 划 分 成 多 个 服务 器 
池 (pool) ， 如 下 图 所 示 ， 每 个 服务 器 池 可 以 配置 包含 1 台 或 多 台 DNS 服 务 器 。 而 
且 ， 池 中 的 DNS 服务 器 选 型 还 可 以 不 同 ， 也 就 是 说 在 一 个 服务 器 池 中 ， 可 以 有 1 人 台 
BIND 服 务 器 ， 还 可 以 有 1 台 PowerDNS 服 务 器 ， 这 是 完全 支持 的 。 


Zone Zone 
Xyz.com foo.com 



















服务 器 池 的 引入 目的 : 


1. 细 化 域名 托管 的 颗粒 度 。 用 户 请 求 托管 的 域名 可 以 委派 到 某 一 个 服务 器 池 ， 而 
不 需要 在 所 有 服务 器 上 管理 用 户 的 域名 和 资源 记录 ， 降 低 了 管理 和 运 维 的 复杂 
度 。 例 如 ，abc.com 委 派 给 pool 1 的 DNS 服务 器 来 管理 ，xyz.com 委 派 到 pool N 
的 DNS 服务 器 来 管理 。 

2. 每 个 服务 器 池 可 以 包含 多 台 DNS 服 务 器 ， 实 现 了 高 可 用 性 和 宛 余 备份 。 

3. 服务 器 池 的 划分 不 受 地 域 的 限制 ， 可 以 将 分 布 在 不 同 地 域 的 DNS 服 务 器 划 归 到 
同一 个 池 中 ， 通 过 GLB 和 anycast 路 由 技术 可 以 实现 就 近 DNS 查 询 和 负载 均 
衡 ， 加 快 DNS 查 询 速 度 。 


官方 文档 上 给 了 一 个 多 个 池 的 使 用 场景 : 


The idea is that we'll configure our pools to support different usage levels. We'll 
define a gold and standard level and put zones in each based on the tenant. 


Our gold level will provide 6 nameservers that users have access to where our 
standard will only provide 2. Both pools will have one master target we write to. PP 
通过 配置 不 同 的 池 来 支持 不 同 的 用 户 等 级 。 


黄金 等 级 的 池 提 供 六 个 nameservers ， 而 标准 等 级 的 池 只 提供 两 个 。 


在 mitaka 版 本 ， 实 现 了 CLI 的 方法 来 更 新 池 , 即 通过 创建 一 个 yaml 文 件 来 定义 池 ,然后 
通过 desigante-manage 来 更 新 池 ， 在 后 面 的 designate 原 理 部 分 ， 贴 出 了 一 个 
yaml， 仅 供 参 考 。 


先 赌 为 快 


在 讲解 designate 模 块 之 前 让 我 们 先 使 用 puppet 把 我 们 的 实验 环境 部 署 起 来 ,请 根据 
你 的 具体 环境 修改 learn_designate.pp 


include '::rabbitmq' 
include '::mysql::server' 
并 创建 database 和 User 


class {'::designate::db::mysql': 
password => $designate_db_password, 


} 
并 创建 designate group 和 user, 安 装 0penstack-designate-common 包 ,修改 配置 
class {'::designate': 

rabbit_host => $rabbit_host, 


rabbit_userid => $rabbit_userid, 


rabbit_password => $rabbit_password, 


include '::designate::dns' 
# & Édesignatef)/5 5i DNS/R 2- Z Z/bind9 » X €bind9& > i$/Tnamed/R 2p > $ frr 


include '::designate::backend: :bind9' 


class {'::designate::db': 


database connection => "mysql://designate:${designate_db_passwot 


# populate designate database 

include '::designate::db::sync' 

六 下面 四 个 class 对 应 desigante 的 api, central,mdns, pool-manager ® AR 4 
class {'::designate::api': 


auth_strategy => $auth_strategy, 


class {'::designate::central': 


backend_driver => $backend_driver, 


include '::designate::mdns' 
class {'::designate::pool_manager': 


pool_id => $pool_id, 





puppet apply -v learn_designate.pp 


Ook， 接 下 来 快 创建 一 个 domain 试 试 吧 。 


designate domain-create --name example.com. --email root@example. cc 


designate domain-list 








sí 





核心 代码 讲解 


backend 


Designate backend 支持 如 BIND，PowerDNS 等 多 种 类 型 的 DNS 服务 器 ， 下 面 只 以 
BIND 为 例 来 讲解 


Designate backend 如 果 使 用 应 用 最 为 广泛 的 bind，designate 会 利用 RNDC 指 令 来 
管理 DNS 伺服 器 ， 所 以 需要 更 改 rndc 的 相关 配置 


class designate: :backend::bind9 ( 
$rndc_host = '127.0.0.1', 
$rndc_port = '953', 
$rndc_config_file = '/etc/rndc.conf', 
$rndc_key_file = '/etc/rndc.key' 


J 


include ::designate 
并 安装 bind 相 关 的 包 ， 更 改 bind 相 关 配 置 项 
include ::dns 


4 & Erndc 9r host, port, configfekey& A sk 
designate config ( 


'backend:bind9/rndc host' : value -» $rndc host; 


'backend:bind9/rndc port' : value -» $rndc port; 


'backend:bind9/rndc config file' : value => $rndc_config_file; 


'backend:bind9/rndc key file' : value => $rndc key file; 


# $ :&named.conf (XX named.options)sxt» A774] 4 4 Zone 
concat::fragment { 'dns allow-new-zones': 


target => $::dns::optionspath, 
content => 'allow-new-zones yes;', 


order => '20', 


puppet-designate 的 安装 简单 来 说 做 了 三 件 事 : 


e 后 端 DNS 服 务 器 的 安装 和 配置 ， 这 一 点 上 面 已 经 有 过 讲解 
e designate 相 关 软 件 包 的 安装 


package { 'designate-common' : 
ensure => $package_ensure, 
name => $common_package_name, 


tag => ['openstack', 'designate-package'], 


designate: :generic_service { 'api': 
enabled => $enabled, 

manage_service => $service_ensure, 
ensure_package => $package_ensure, 
package name => $api package name, 


service name -» $::designate::params::api service name, 


e desingate 配 置 文件 的 管理 除了 权限 的 相关 配置 ， 其 它 的 配置 项 都 
在 /etc/designate/designate.conf 中 [oslo messaging rabbit] T @ X&rabbitmq 49 
相关 参数 ， 由 class designate 3? : 


designate_config { 


'oslo messaging rabbit/rabbit userid' : value => $rabbit userid; 
'oslo messaging rabbit/rabbit password' : value => $rabbit passwoi 
'oslo messaging rabbit/rabbit virtual host' : value -» $rabbit vii 
'oslo messaging rabbit/rabbit use ssl' : value => $rabbit use ssl, 
'oslo messaging rabbit/kombu ssl ca certs' : value => $kombu ssl ( 
'oslo messaging rabbit/kombu ssl certfile' : value => $kombu ssl ( 
'oslo messaging rabbit/kombu ssl keyfile' : value => $kombu ssl kt 
'oslo messaging rabbit/kombu ssl version' : value => $kombu ssl vt 
'oslo messaging rabbit/kombu reconnect delay' : value => $kombu rt 
j 





(service:api) [service:central] [serivce:mdns] [service:pool manager] 中 的 配置 


项 分 别 由 class designate::api designate::central designate::mdns 
designate::manager 管 理 


designate 原 理 


此 处 以 具体 的 环境 为 例 来 介绍 designate 的 原理 实验 环境 : 


e 系统 为 centos7.2 

e designate-api, designate-central, designate-pool-manager, designate-mdns, 
rabbitmq, mysql, keystone +5 #8 4 #10.0.2.250 

e bind 分 别 部 署 在 10.0.2.250 10.0.2.249 


下 面 贴 出 pools.yaml 的 配置 : 


- also_notifies: 
- host: 10.0.2.249 
port: 53 
attributes: {} 
description: Pool built from configuration on localhost 
id: 794ccc2c-d751-44fe-b57f -8894c9f5c842 


nameservers: 

- host: 10.0.2.250 
port: 53 

- host: 10.0.2.249 
port: 53 


ns records: 
- hostname: server-250.2.stage.polex.io. 


priority: 1 
- hostname: server-249.2.stage.polex.io. 
priority: 2 
targets: 
- masters: 
- host: 10.0.2.250 
port: 5354 
options: 


rndc_config_file: /etc/rndc.conf 
rndc_host: 127.0.0.1 
rndc_key_file: /etc/rndc.key 
rndc_port: '953' 

type: bind9 

- masters: 

- host: 10.0.2.250 
port: 5354 

options: 
rndc_config_file: /etc/rndc.conf 
rndc_host: 10.0.2.249 
rndc_key_file: /etc/rndc.key 
rndc_port: '953' 

type: bind9 


Designate 工 作 流 程 : 


e. 用 户 请 求 designate-api, 添 加 record 或 者 domain 


e designate-api 发 送 请 求 至 mq 中 

e designate-central 接 收 到 mq 请 求 , 写 入 db, 同 时 通过 mq 触发 pool_manager 进 
更 新 操作 

e pool_manager 通 过 rndc(addzone/delzone/notifyzone) 三 个 操作 来 通知 
pool targets 中 定义 的 bind 来 进行 操作 

e bind 使 用 axfr 来 请 求 同 步 mdns 

e mdns 从 数据 库 中 读 取 相应 的 domain 信 息 来 响应 axfr 请 求 


Target vs. Nameserver 


当 通 过 designate 增加 一 修改 一 删除 记录 时 ， 过 target 去 write changes。 
Zdns€ P "e dnd > ju] a3 it nameserver. 
以 本 次 实验 环境 为 例 ， 当 通过 designate 创 建 一 个 名 为 example.com 的 domain 时 ， 


按照 上 面 的 pool.yaml 配 置 ， 相 当 于 执行 了 这 两 条 命令 : 


rndc -s 127.0.0.1 -p 953 -c /etc/rndc.conf -k /etc/rndc.key addzone 
rndc -s 10.0.2.249 -p 953 -c /etc/rndc.conf -k /etc/rndc.key addzor 


El = ve 





可 以 看 到 这 些 配 置 项 都 是 在 target 中 定义 的 。 一 个 要 解析 的 域名 就 是 一 个 zone, 一 个 
zone 对 应 /varnamed/ 目 录 下 的 一 个 zone file. 在 250 和 249 机 器 上 ， 都 能 找到 新 创建 
的 这 个 文件 : 


[root@server-250.2.stage.polex.io named ]$ 11 


total 32 

-rw-r--r--. 1 named named 544 Nov 3 17:50 3bf305731dd26307.nzf 
drwxrwx---. 3 named named 70 Nov 3 17:35 data 

drwxrwx---. 2 named named 58 Nov 4 16:32 dynamic 

-rw-r----- . 1 root named 2076 Jan 28 2013 named.ca 

-rw-r----- . 1 root named 152 Dec 15 2009 named.empty 

-rw-r----- . 1 root named 152 Jun 21 2007 named.localhost 
-rw-r----- . 1 root named 168 Dec 15 2009 named.loopback 
drwxr-x---. 2 root named 6 Oct 19 14:03 puppetstore 

-rw-r--r--. 1 named named 409 Nov 4 19:12 slave.example.com.75c9« 


drwxrwx---. 2 named named 6 Mar 16 2016 slaves 








通过 dig 查询 创建 的 server1.example.com 记 录 时 ， 返 回信 息 为 : 
[root@server -250.2.stage.polex.io ~ ]$ dig serveri.example.com @10 


; <<>> DiG 9.9.4-RedHat-9.9.4-29.e17_2.3 <<>> serveri.example.com ( 
;; global options: +cmd 

;; Got answer: 

;; -»»HEADER««- opcode: QUERY, status: NOERROR, id: 31922 

;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITION/ 


;; OPT PSEUDOSECTION: 
; EDNS: version: 0, flags:; udp: 4096 
;; QUESTION SECTION: 
;server1.example.com. IN A 


;, ANSWER SECTION: 
serveri.example.com. 3600 IN A qo 


;, AUTHORITY SECTION: 
example.com. 3600 IN NS server -249.2.stage.polex. ic 
example.com. 3600 IN NS server -250.2.stage.polex. ic 


;; Query time: 0 msec 

;; SERVER: 10.0.2.250#53(10.0.2.250) 
;; WHEN: Fri Nov 04 18:45:55 CST 2016 
;; MSG SIZE rcvd: 130 


|a m ——— s Àr[ 





Hidden Master 


前 面 有 提 到 过 ， 当 我 们 创建 一 个 名 为 example.com 的 domain 时 ， 执 行 的 rndc 命 令 都 
指定 master host : 10.0.2.250 > port:5354 在 designate.conf 的 定义 中 ， 我 们 可 以 看 
到 : 


[service:mdns ] 

threads = 1000 

host = 0.0.0.0 

port = 5354 

tcp_backlog = 100 
tcp_recv_timeout = 0.5 
query_enforce_tsig = False 


5354 € service designate-mdns 监 听 的 端口 。 所 以 说 ，250，249 两 台 机 器 上 的 bind 
都 是 使 用 axfr 来 请 求 同 步 ndns， 它 们 的 记录 都 是 同步 过 来 的 〈 所 以 某 种 意义 上 讲 ， 
它们 都 是 slave 节 点 ) » 这 样 的 好 处 就 是 ， 如 果 250，249 有 公 网 ip, 它 的 53 接 口 能 被 
访问 ， 那 么 它 的 记录 是 不 能 通过 外 网 来 更 改 的 (外 网 只 能 查询 ) ， 对 于 dns 记 录 的 
更 改 只 能 通过 内 网 (10.0.2.250) designate api 的 方式 。 


使 用 场景 
解析 私有 域名 


并 创建 一 个 domain 


designate domain-create --name exampleO3.com. --email root@example 
# 创 建 一 条 记录 
designate record-create --name serveri.example03.com. --type A --d: 
六 使 用 dig 测 试 


[root@server-250.2.stage.polex.io named ]$ dig @10.0.2.250 serveri 


; <<>> DiG 9.9.4-RedHat-9.9.4-29.e17 2.3 <<>> @10.0.2.250 Server1.4 
; (1 server found) 

;; global options: +cmd 

;; Got answer: 

;; -»»HEADER««- opcode: QUERY, status: NOERROR, id: 51643 

;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITION/ 


;, OPT PSEUDOSECTION: 

; EDNS: version: 0, flags:; udp: 4096 
;; QUESTION SECTION: 
;Serveri.example03.com. IN A 


;; ANSWER SECTION: 
server1.example03.com. 3600 IN A dio Aas at! 


;; AUTHORITY SECTION: 
example03.com. 3600 IN NS server-250.2.stage.polex 
example03.com. 3600 IN NS server-249.2.stage.polex 


;; Query time: 0 msec 

;; SERVER: 10.0.2.250#53(10.0.2.250) 
;; WHEN: Fri Nov 04 19:20:58 CST 2016 
;; MSG SIZE rcvd: 132 


IE 





与 nova 和 neutron 集 成 


designate-sink 通过 nova handler 和 neutron handler， 自 动 生 成 域名 资源 记录 ， 比 
如 当 监 听 到 Nova 的 compute.instance.create.end 事 件 通知 后 ， 自 动 创建 一 条 对 应 于 
刚 创 建 的 实例 的 A 记 录 ; 当 监 听 到 Nuetron 的 floatingip.update.end 事 件 通知 后 ， 自 
动 更 新 一 条 相应 的 A 记录 。 一 个 domain 如 下 : 


designate record-list 98775b46-c868-4dd8-94fd-6bd789a5dbaa 
Jue ECL EELENCTEI EE CHROME E CHCIREHCUOE OL CHEXCIAOHEO EE CS EXC EM ES donc ccu 站 
| id | type | name 


| e61e814f -5bd4-4de8-9c11-5c87fe1b2799 | SOA | bluesky.edu.au. 
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当 创 建 一 个 虚拟 机 后 ， 自 动 创建 一 条 A 记 录 : 


designate record-list 98775b46-c868-4dd8-94fd-6bd789a5dbaa 
ee donc exer 站 


| id | type | name 
docoecontedgsencogooeneecenmoganuagdgesnegesco docssad Ee 
| 680eb3f5-016f-45a3-ac34-e79ff46bf8df | SOA | bluesky.edu.au. 

| c66481bd-bd4f-4f90-976a-67b6654c4c60 | A | phobos.bluesky.edu 





puppet-designate 需 要 配置 的 文件 仅 有 designate.conf， 为 了 方便 管理 与 配置 
puppet 把 使 用 到 的 四 个 服务 都 分 别 写 为 了 一 个 .pp 的 类 ， 
配置 项 。 这 里 讲解 到 功能 没有 涉及 到 跟 nova，neutron 的 集成 ， 集 成 之 后 的 效果 是 
当 创 建 虚拟 机 或 创建 浮动 IP 后 ， 创 建 的 虚拟 机 或 浮动 ip 的 A 记录 记录 会 自动 同步 相应 
的 zone T ， 有 兴趣 的 同学 可 以 在 官网 查看 。 


动手 练习 


1. 部 署 分 布 式 的 backend 后 端 ' 并 使 用 不 同 的 DNS 
Server (BIND,PowerDNS,MysqlBIND) 作 存 储 后 端 。 


2. 手 动 配置 多 个 pool, 不 同 的 pool 管 理 的 各 自 的 DNS Server( 通 过 创建 yaml| 文 件 ， 使 
Fl] designate-manage 4? 4- È IL) » 


3. x: Rdesignate-sinkik 4 > 14 ?& nova.conffeneutron.conf48 © M > 6 E ALAR 
floating ip ， 观 察 designate record 的 变化 。 


深入 理解 OpenStack 自 动 化 部 署 


e puppet-designate 
o DNS 


= DNS 简介 
DNS 层 级 结构 
BIND DNS 服务 
a DNS 服 务 器 类 型 
DNS 资 源 记录 类 型 
DNS 客 户 端 
基础 知识 
a Designate 介 绍 
a DNS 服务 器 的 池 划 管理 
核心 代码 讲解 
m backend 
designate% #2 
m Target vs. Nameserver 
m Hidden Master 
使 用 场景 
解析 私有 域名 
= 与 Nova 和 neutron 集 成 
小 结 


动手 练习 


A 
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puppet-aodh 模 块 


1. 基础 知识 - 理解 Aodh 
2. 先睹为快 - 一 言 不 合 ， 立 马 动 手 ? 
3. 核心 代码 讲解 - 如 何 管理 Aodh 服 务 ? 


o 


o 


o 


o 


o 


o 


o 


4. 小结 


class aodh 


class aodh:: 
class aodh:: 
class aodh:: 
class aodh:: 
class aodh:: 
class aodh:: 


db 
keystone 
api 
evaluator 
notifier 
listener 


5. 动手 练习 - 光 看 不 练 假 把 式 


0. 理 解 Aodh 


Aodh 是 Openstack 告 敬 项 目 ， 最 初 在 Havana 版 本 中 作为 Ceilometer 项 目的 一 个 组 件 
(ceilometer-alarm) 出 现在 Ceilometer 项 目 中 ， 在 Liberty 版 本 中 演变 成 了 独立 项 目 
Aodh， 用 户 可 以 为 独立 事件 或 者 样本 设置 阅 值 和 告警 机 制 。 


Aodh 服 务 由 以 下 组 件 组 成 : 


名 称 说 明 
openstack-aodh-api 为 告警 数据 的 存储 和 访问 提供 接口 
openstack-aodh-evaluator 根据 统计 的 数据 ， 来 评估 是 否 需 要 触发 告警 
openstack-aodh-notifier 根据 配置 的 告警 方式 ， 发 出 告警 


openstack-aodh-listener 监听 事件 ， 触 发 事件 相关 的 告警 


深入 理解 OpenStack 自 动 化 部 署 


各 个 组 件 之 间 的 关系 如 下 图 所 示 : 


1 QpenStack Services 0000000000000) 
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不 想 看 下 面 大 段 的 代码 解析 ， 已 经 跃跃欲试 了 ? 
OK ， 我 们 开始 吧 ! 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply examples/aodh.pp 


等 待命 令 执行 完成 ，Puppet 完 成 了 对 Aodh 服 务 的 安装 。 


注 : 部 署 Aodh 服 务 ， 依 赖 于 Keystone 服 务 。 


2. 核 心 代码 讲解 


class aodh 
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class aodh 完成 了 以 下 三 项 任务 : 


e Aodh common 包 的 安装 
e Aodh 配 置 文件 的 清理 
e。RabbitMQ 和 AMQP 选 项 的 管理 


其 中 rabbit 和 AMQP 相 关 的 选项 管理 均 是 通过 oslo::messaging::rabbit 和 
oslo::messaging::amqp 来 管理 ， 关 于 puppet-oslo 模 块 ， 将 会 在 下 一 个 章节 详细 介 


绍 。 


oslo::messaging::rabbit { 'aodh config': 


rabbit userid => 
rabbit_password => 
rabbit_virtual_host == 
rabbit_host 三 之 
rabbit_port => 
rabbit_hosts => 
rabbit_ha_queues => 


heartbeat_timeout_threshold => 


heartbeat_rate => 
rabbit_use_ssl == 
kombu_reconnect_delay => 
kombu_ssl_version Z> 
kombu_ssl_keyfile => 
kombu_ssl_certfile == 
kombu_ssl_ca_certs => 
kombu_compression => 
amqp. durable queues => 


在 package 资 源 中 ， 有 一 个 元 属性 tag: 


package ( 'aodh': 


ensure => $package ensure real, 
name 


tag -» ['openstack', 


$rabbit userid, 

$rabbit password, 
$rabbit virtual host, 
$rabbit host, 

$rabbit port, 

$rabbit hosts, 
$rabbit ha queues, 
$rabbit heartbeat timeout thresl 
$rabbit heartbeat rate, 
$rabbit use ssl, 

$kombu reconnect delay, 
$kombu ssl version, 
$kombu ssl keyfile, 
$kombu ssl certfile, 
$kombu ssl ca certs, 
$kombu compression, 
$amqp durable queues, 





-» $::aodh::params::common package name, 
'aodh-package' ], 


tag 顾名思义 就 是 标签 ， 资 源 、 类 和 定义 都 可 以 对 其 标记 ， 一 个 资源 可 以 有 任意 
数量 的 标记 。 有 多 种 标记 资源 的 方式 ， 以 上 代码 是 使 用 了 元 参数 tag， 对 aodh 
package 资 源 添加 了 2 个 tag : 'openstack','aodh-package' » 3x XÉtagz 
在 aodh::deps 中 使 用 ， 用 于 收集 标记 为 aodh-package 的 package 资 源 : 


anchor { 'aodh::install::begin': } 
-> Package<| tag == 'aodh-package' |> 
~> anchor ( 'aodh::install::end': } 


class aodh::api 


api 的 主要 是 提供 数据 的 接口 ， 为 告警 数据 的 提供 存储 和 访问 。 在 class aodh::api ? 
先是 定义 了 以 下 几 个 依赖 关系 : 


if $auth strategy == 'keystone' { 
include ::aodh::keystone::authtoken 


Aodh config«||» ~> Service[S$service name] 
Class['aodh::policy'] ~> Service[$service name] 


Package['aodh-api'] -» Service[$service name] 
Package['aodh-api'] -» Service['aodh-api'] 
Package['aodh-api'] -» Class['aodh::policy' ] 
package ( 'aodh-api': 

ensure -» $package ensure, 

name => $::aodh::params::api package name, 

tag => ['openstack', 'aodh-package'], 


代码 中 两 种 符号 >' 和 ',~>'…， 这 两 者 都 是 描述 资源 间 的 依赖 ， 前 面 已 经 介绍 过 。 同 时 
在 模块 中 都 同样 使 用 keystone 作 为 认证 。API 类 中 其 余 代码 则 是 对 参数 进行 配置 ， 


略 过 。 


class aodh::evaluator 


if $manage_service { 
if $enabled { 


$service_ensure = 'running' 
) else { 
$service ensure - 'stopped' 
} 
} 


Package['aodh'] -> Service['aodh-evaluator'] 
service { 'aodh-evaluator': 


ensure => $service ensure, 
name => $::aodh::params::evaluator service name, 
enable => $enabled, 


hasstatus => true, 
hasrestart => true, 
tag => ['aodh-service', 'aodh-db-sync-service' ] 


aodh-evaluator 服务 的 部 署 和 aodh-api 类 似 ， 配 置 一 些 基 础 配置 和 oslo 相关 配 
置 ， 就 可 以 启动 服务 了 。 


class aodh::notifier 


Package['aodh'] -> Service['aodh-notifier'] 
service ( 'aodh-notifier': 


ensure => $service ensure, 
name => $::aodh::params::notifier service name, 
enable => $enabled, 


hasstatus => true, 
hasrestart -» true, 
tag -» 'aodh-service', 


class aodh::listener 


Package['aodh'] -> Service['aodh-listener'] 
service ( 'aodh-listener': 


ensure -» $service ensure, 
name => $::aodh::params::listener service name, 
enable => $enabled, 


hasstatus => true, 
hasrestart => true, 
tag => 'aodh-service', 


从 上 述 的 代码 中 ， 咱 们 可 清晰 看 到 aodh 的 安装 、 数 据 库 创 建 与 同步 、 认 证 、api、 
evaluator ` notifier 、listener 服 务 的 配置 、 局 动 、 管 理 。 源 于 aodh 手 动 部 署 文档 。 


动手 练习 


1. 配置 Aodh 运 行 在 httpd 下 运行 
2. 使 用 AMQP 替 换 RabbitMQ 


e puppet-aodh 模 块 
o 0. 理 解 Aodh 
o Aodh 服 务 由 以 下 组 件 组 成 : 
o 1.25 85 A IR 
o 2. 核 心 代码 讲解 
m class aodh 
m class aodh::api 
m class aodh::evaluator 
m class aodh::notifier 
m class aodh::listener 
o 人 小结 


o 动手 练习 


第 五 章 PuppetOpenStack 公 共 库 和 工具 类 模 


块 


公共 库 类 型 模块 统一 管理 者 各 个 服务 的 公共 配置 ， 例 如 puppet-oslo， 管 理 着 各 个 
oslo 库 的 配置 ; 另外 一 类 是 工具 类 模块 ， 它 们 的 主要 作用 是 提供 一 个 模块 的 基础 配 
置 ， 测 试 配置 ， 同 步 配置 等 与 模块 本 身 相关 : 


Common Puppet library (OpenStackLib) 

Common Ruby helper library (puppet-openstack spec helper) 
Puppet OpenStack helpers (OpenStackExtras) 

Virtual Bridging (OpenvSwitch) 

Integration CI tools (Puppet OpenStack Integration) 

Blueprints (Puppet OpenStack Specs) 

Compliant tool (Cookiebutter) 

Sync tool (Modulesync) 

Oslo libraries (Oslo) 


第 五 章 PuppetOpenStack 公 共 库 和 工具 类 模块 


puppet-oslo 


1. 先睹为快 - 一 言 不 合 ， 立 马 动手 ? 
2. 核心 代码 讲解 - 公共 define 库 
o define oslo::log 
3. 小 结 
4. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : 余兴 起 
建议 阅读 时 间 30 分 钟 


这 是 读者 和 作者 都 会 感到 轻松 又 欢快 的 一 章 ， 因 为 puppet-oslo 模 块 的 结构 非常 简 
3 o WAE% > puppet-oslot# 2 X 4 (xingchao)  16-F -F 30 He h JF Fo MG AE — 3e TT AR 
到 社区 的 puppet module。 它 的 目的 就 是 为 了 消灭 当时 存在 于 各 模块 中 大 量 的 宛 余 
代码 ， 例 如 : 每 个 模块 当中 都 有 rabbitmgq 的 配置 ， 都 有 log 的 配置 ， 都 有 db 的 配置 ， 
那么 为 何不 做 一 个 公共 库 ， 把 这 些 代 码 抽 取出 来 呢 ? 


先睹为快 


很 可 惜 ， 这 是 一 个 公共 define 库 ， 不 会 单独 存在 ， 而 是 被 其 他 模块 调用 来 使 用 。 


核心 代码 讲解 


所 有 代码 的 结构 都 是 一 样 的 ， 就 是 针对 某 个 oslo.XXX 库 的 参数 设置 ， 因 此 在 这 里 我 
们 只 举 一 个 例子 来 说 明 : 


define oslo::log 


在 Oslo::log 的 代码 中 ， 继 续 给 大 家 讲解 一 些 函 数 的 使 用 。 
以 下 代码 中 ， 我 们 看 到 了 


e is_service_default 用 于 判断 变量 是 否 使 用 了 默认 值 ; 
e validate_hash 用 于 判断 变量 是 否 为 hash 类 型 ; 
e join 使 用 分 隔 符 将 list 连 接 成 字符 串 ; 


e sort 将 字符 串 和 数组 进行 按 单词 排序 ; 
e join keys to _values 将 key 和 value 使 用 分 隔 符 连 接 ， 例 如 : 
join. keys to values(('a'2»1,'b'222), " is "y 结 采 为 ["ais 1","b is 2”] 


if 1s service default($default log levels) ( 
$default log levels real - $default log levels 
) else ( 


validate hash($default log levels) 
$default log levels real - join(sort(join keys to values($defai 


E — R 





我 们 接着 往 下 看 ， 下 面 的 关键 是 create _resources 有 函数 ， 终 于 到 了 值得 讲 一 讲 的 地 
方 了 。 


Puppet 中 的 迭代 用 法 


学 习 Puppet 的 人 常会 问 起 Puppet 中 的 迭代 用 法 ， 因 为 多 数 Puppet 用 户 都 有 命令 式 
编程 的 经 验 ， 比 如 说 在 Bash Shell 下 ， 使 用 for 语 名 来 表示 循环 。 但 是 Puppet 是 一 门 
声明 式 DSL( domain-specific language )，DSL 不 是 图 灵 完 备 的 (Turing complete)。 
Eee rupee! 4. Nau qi Iteration and Loops)， 是 不 支持 迭代 语法 的 ， 不 
过 从 Puppet 3.3 开 始 ， 可 以 通过 一 定 的 配置 来 开启 Puppet 中 的 试验 性 迭代 功能 。 


我 们 还 有 另外 一 种 方式 来 实现 迭代 功能 ， 那 就 是 使 用 create_ resources $ X >» 
create resource 可 以 接受 3 个 参数 : 


e resource 名 称 
e hash 类 型 变量 


e 可 选 ，hash 变 量 ， 用 于 设置 resrouce 公 共 属 性 


# A hash of user resources: 


$myusers = { 


'nick' => { uid => '1330', 

gid => allstaff, 

groups => ['developers', 'operations', 'release'], }, 
'dan' => { uid => '1308', 

gid => allstaff, 


groups => ['developers', 'prosvc', 'release'], }, 


} 


create_resources(user, $myusers) 


$defaults = { 
'ensure' -» present, 
'provider' => 'ldap', 
} 


create_resources(user, $myusers, $defaults) 
二 Ll 


OK ， 我 们 再 回 过 头 来 看 这 段 代 码 ， 是 不 是 就 很 容易 理解 了 ? 


$log_options = { 


' DEFAULT/debug' => { value => $debug }, 
' DEFAULT/verbose' -» ( value -» $verbose 
' DEFAULT/10g. config append' => { value => $10g conl 
' DEFAULT/1og. date format' -» ( value -» $10g dat: 
"DEFAULT/log_file' => { value => $1og fil: 
' DEFAULT/1og dir' => { value => $10og dir 
'DEFAULT/watch log file' => { value => $watch l 
'DEFAULT/use syslog' -» ( value -» $use sys. 
'DEFAULT/syslog log facility' -» ( value -» $syslog. 
'DEFAULT/use stderr' => { value => $use std 
'DEFAULT/logging context format string' => ( value => $logging_ 
'DEFAULT/logging default format string' => ( value => $logging_ 
' DEFAULT/1logging. debug format suffix' => ( value => $logging_ 
'DEFAULT/logging exception prefix' => { value => $logging_ 
'DEFAULT/logging user identity format' => { value => $logging_ 
'DEFAULT/default log levels' => { value => $default_ 
' DEFAULT/publish errors' => { value => $publish_ 
'DEFAULT/instance format' => { value => $instance 
'DEFAULT/instance uuid format' => { value => $instance 
'DEFAULT/fatal deprecations' => ( value => $fatal_de 


create_resources($name, $log_options) 


E — #4 





小 结 


这 章 的 内 容 比 较 简 单 ， 我 们 主要 介绍 了 几 个 函数 的 使 用 说 明 ， 着 重 说 明了 Puppet 中 
的 迭代 ， 它 们 的 加 入 使 得 代码 逻辑 变 得 更 加 强大 。 
动手 练习 


1. define 和 class 有 什么 区 别 ? 为 什么 要 使 用 define 而 不 使 用 class ? 


e puppet-oslo 
o 先睹为快 
o 核心 代码 讲解 


puppet-oslo 289 


深入 理解 OpenStack 自 动 化 部 署 


m define oslo::log 
o 小 结 


o 动手 练习 


puppet-oslo 290 


puppet-vswitch 模块 


1. 先睹为快 
2. 代码 讲解 
3. 动手 练习 


Open vSwitch(OVS) 是 一 个 高 质量 的 、 多 层 虚 拟 交 换 机 ， 使 用 开源 Apache2.0 许 可 
协议 。 它 的 目的 是 让 大 规模 网 络 自 动 化 可 以 通过 编程 扩展 ,同时 仍然 支持 标准 的 管理 
接口 和 协议 ，Open vSwitch 支 持 多 种 linux 虚拟 化 技术 ， 包 括 Xen/XenServer， 
KVM 和 irtualBox ° 


puppet-vswitch 项 目 是 由 OpenStack 社 区 维护 的 模块 ， 用 于 配置 和 管理 
Openvswitch ° 


puppet -vswitch 项 目地 址 : https://github.com/openstack/puppet-vswitch 
在 OVS 中 ， 有 三 个 非常 重要 的 基本 概念 : 


e Bridge: 表示 一 个 以 太 网 交换 机 ， 其 功能 是 根据 流 规则 ， 把 从 端口 收 到 的 数据 
包 转 发 到 一 个 或 多 个 端口 

e Port: 收发 数据 包 的 单元 ， 每 个 Port 都 属于 一 个 特定 的 bridge 

e Interface: 连接 到 Port 的 网 络 接口 设备 ， 可 以 是 物理 网 卡 ， 也 可 以 是 虚拟 网 卡 


1. 先 暑 为 快 


不 想 看 下 面 大 段 的 代码 说 明 ， 已 经 跃跃欲试 了 ? 
OK ， 我 们 开始 吧 ! 


打开 虚拟 机 终端 并 输入 以 下 命令 : 


$ puppet apply -e 'class {'vswitch': provider => 'ovs'}' 


2.1 class vswitch 


class vswitch %% 2% #4 rei fi] 3X > 4$ A include && 2 "A 
f ":vswitch::$(provider]" ° 


class vswitch ( 
$provider = $vswitch::params::provider 


) {í 
$cls = "::vswitch::${provider}" 
include $cls 

} 


2.2 class vswitch::ovs 


class vswitch::ovs 用 于 管理 Openvswitch 的 软件 包 和 服务 ,管理 服务 的 代码 如 
下 3 


'Redhat': { 
service { 'openvswitch': 
ensure => true, 
enable => true, 


name => $::vswitch::params::ovs service name, 


管理 openvswitch 软 件 包 的 代码 如 下 ， 指 定安 装 软件 的 顺序 在 启动 服务 之 前 : 
package ( $::vswitch::params::ovs package name: 


ensure -» $package ensure, 
before => Service['openvswitch'], 


自 定 义 资 源 类 型 vs_port/vs_bridge/vs_config 


puppet-vswitch 模块 提供 了 vs_port 和 vs_bridge 两 个 自 定义 资源 类 型 ， 分 别 用 于 
管理 port 和 bridge ° 


例 1, 使 用 vs bridge 创建 一 个 名 为 br-ex 的 ovs bridge : 


vs bridge ( 'br-ex': 
ensure => present, 


例 2， 使 用 vs_port 将 端口 eth1 绑 定 到 br-ex 上 : 


vs port { ‘ethi': 
ensure => present, 
bridge => 'br-ex', 


例 3， 使 用 vs_config 添 加 新 配置 项 到 Openvswitch 配 置 文件 中 : 


vs_config { 'parameter_name': 
ensure => present, 
value => "some_value" 


在 vswitch::ovs 指定 了 资源 的 执行 顺序 ，vs_bridge 和 vs_port 在 openvswitch 服 
务 之 后 。 


Service['openvswitch'] -> Vs_port<| |> 
Service['openvswitch'] -> Vs_bridge<||> 


3. 动 于 练习 
1. 创建 一 个 vs bridge br-tun, 并 且 把 eth1 加 入 到 br-tun 


e puppet-vswitch 模 块 
o 1 . 先 睹 为 快 
o 2. 代 码 讲解 
m 2.1 class vswitch 
m 2.2 class vswitch::ovs 
m 自 定 义 资 源 类 型 vs_port/vs_bridge/vs_config 


深入 理解 OpenStack 自 动 化 部 署 


o 3. 动 手 练习 


puppet-vswitch 模 块 294 


puppet-openstacklib 


1. 核心 代码 讲解 - puppet-openstacklib 中 的 主要 资源 
o define openstacklib::db::mysql 
o define openstacklib::service::validation 
o define openstacklib::policy::base 
o Puppet::Provider::Openstack::Auth 
o openstack config 
o facter os service default 


本 节 作 者 BG HE 
建议 阅读 时 间 45 分 钟 


在 部 署 一 个 OpenStack 集群 时 ， 我 们 可 能 需要 安装 多 个 OpenStack 项 目 ， 由 于 

OpenStack 项 目 都 是 按照 类 似 的 设计 模式 开发 的 ， 因 此 这 些 不 同 的 服务 的 架构 都 具 
有 某 些 共同 的 特点 ， 例 如 每 个 服务 一 般 都 会 有 一 个 专用 的 数据 库 ， 都 会 使 用 消息 队 
列 来 完成 内 部 组 件 通信 ， 一 般 都 由 Python 开发 ， 可 以 使 用 WSGI 的 方式 进行 部 署 


AK E 


等 等 . 


由 于 这 些 服 务 的 共同 特性 ， 在 部 署 OpenStack 服务 时 ， 我 们 的 很 多 操作 往往 需要 
重复 进行 ， 例 如 为 每 个 服务 创建 数据 库 ， 以 及 数据 库 的 用 户 和 访问 权限 ， 这 些 操作 
可 能 存在 于 每 个 服务 对 应 的 Puppet 模块 中 ， 为 了 尽 可 能 的 减少 重复 性 代码 ， 社 区 
将 一 些 常 用 的 通用 性 操作 写成 Puppet 中 的 define 并 放 在 一 个 公 Wo SUE 
块 使 用 ， 这 样 其 他 模块 只 需要 调用 这 个 公共 模块 中 定义 好 define 资源 即 可 。 这 个 公 
共 模 块 就 是 puppet-oepnstacklib ， 它 的 作用 类 似 于 软件 开发 中 的 公共 类 库 。 


核心 代码 讲解 
puppet-openstacklib 这 个 模块 主要 提供 了 下 面 这 些 资 源 : 
e openstacklib::service validation ， 用 于 执行 脚本 或 命令 对 服务 可 用 性 
进行 验证 
e openstacklib::db::mysql ， 用 于 完成 mysql 数据 库 ， 数 据 库 用 户 的 创建 
和 用 户 的 授权 


e openstacklib::db::postgresql ， 用 于 完成 postgresql 数据 库 ， 数 据 库 用 
户 的 创建 和 用 户 的 授权 

e openstacklib::policy::base ， 用 于 配置 policy.json 文件 

e $::0s_service_default 这 个 facter， 用 于 设置 openstack 配置 文件 的 默 
认 值 

e 用 于 定义 各 个 服务 配置 的 自 定 义 资源 所 用 的 基础 类 


openstacklib::db::mysql 


这 里 以 puppet-nova 模块 为 例 ， 来 看 看 openstack 模块 如 何 去 使 用 puppet - 
openstacklib 模块 中 的 资源 。 例 如 ， 在 配置 数据 库 用 户 ， 权 限 以 及 数据 库 的 创建 
时 ，nova 模块 中 的 nova::db::mysql 使 用 了 openstacklib::db::mysql 来 创建 
数据 库 ， 用 户 ， 以 及 对 用 户 授权 : 


: :openstacklib::db::mysql { 'nova': 


user => $user, 
password hash => mysql password($password), 
dbname => $dbname, 
host => $host, 
charset => $charset, 
collate => $collate, 
allowed_hosts => $allowed_hosts, 
} 


openstacklib::service::validation 


nova 模块 中 的 nova::api 类 调用 了 openstacklib::service::validation 这 个 
资源 ， 用 户 可 以 自己 定义 服务 的 检查 脚本 ， 来 对 服务 进行 健康 检查 : 


if $validate { 
$defaults = { 
'nova-api' => { 


'command' => "nova --os-auth-url ${auth_uri} --os-tenant-r 


} 
$validation_options_hash = merge ($defaults, $validation_optior 
create resources('openstacklib::service validation', $validatic 





openstacklib::policy::base 


如 果 想 自己 定义 policy.json 文件 ， 可 以 使 用 nova::policy 这 个 类 ， 在 这 个 类 的 代码 
中 ， 实 际 是 通过 调用 openstacklib::policy::base 这 个 资源 来 完成 对 
policy.json 文件 的 配置 : 


$policy_defaults = { 
'file path' => $policy_path, 
'require' => Anchor['nova::config::begin'], 
VEO EXER y." => Anchor['nova::config::end'], 


create resources('openstacklib::policy::base', $policies, $polio 


is] mu Hm 





上 面 的 代码 使 用 create resource 函数 动态 的 创建 
openstacklib::policy::base 资源 ， 实 现 配置 policyjson 文件 的 目的 。 


Puppet::Provider::Openstack::Auth 


Puppet: :Provider::Openstack::Auth Æ puppet-openstacklib 提供 一 个 类 > 
它 被 其 他 openstack 模块 所 使 用 ， 它 的 主要 功能 是 为 CLI 接口 提供 认证 的 功能 ， 认 
证 信息 的 获取 方式 为 : 

1. 从 环境 变量 中 获取 认证 信息 

2. 如 果 没 有 从 环境 变量 中 获取 到 密码 信息 ， 那 么 读 取 /root/openrc 文件 


当 其 他 openstack 模块 中 的 B ee 资源 需要 使 用 CLI 接口 时 ， 都 会 将 此 类 中 的 方法 
加 载 到 新 定义 的 类 中 ， 通 过 类 提供 的 方法 完成 认证 。 


openstack_config 


openstack 中 大 部 分 项 目的 配置 文件 都 使 用 ini 格式 的 配置 文件 ，puppet- 
openstack 社区 为 每 个 服务 提供 了 自 定 义 资源 ， 用 来 完成 对 这 些 配 置 文件 的 管理 ， 
例如 nova.conf 中 需要 在 [DEFAULT] 这 个 section 中 添加 一 条 配置 如 下 : 


[ DEFAULT ] 
memcached servers = 10.10.0.1:11211 


可 以 使 用 nova config 这 个 自 定 义 资 源 完成 : 


nova_config { 'DEFAULT/memcached_servers': 
value => '10.10.0.1:11211', 


所 有 这 些 自 定义 资源 的 实现 都 会 使 用 puppet-openstack 中 的 基础 类 
openstack_config ， 因 此 其 他 openstack 模块 都 会 依赖 此 模块 。 


os service default 


nova.conf 中 需要 在 [DEFAULT] 这 个 section 中 添加 一 条 配置 如 下 : 


[ DEFAULT ] 
memcached_servers = 10.10.0.1:11211 


可 以 使 用 nova config 这 个 自 定 义 资 源 完成 : 


nova_config { 'DEFAULT/memcached_servers': 
value => 110.10. 0.1:112111; 


那么 ， 如 果 我 想 从 配置 文件 中 删除 这 条 配置 ， 需 要 这 样 做 : 


nova_config { 'DEFAULT/memcached_servers': 
ensure => absent, 


可 以 看 到 两 种 代码 传递 的 参数 不 同 ， 因 此 我 们 在 openstack 模块 中 往往 看 到 这 种 风 
格 的 代码 : 


if $memcached servers ( 


nova config ( 'DEFAULT/memcached servers': value => join($memca: 
) else { 


nova config ( 'DEFAULT/memcached servers': ensure -» absent ) 





由 于 配置 一 个 参数 和 删除 一 个 参数 需要 对 自 定义 资源 传递 的 参数 不 同 ， 在 puppet 
代码 中 往往 需要 很 多 这 种 条 件 判 断 语句 。 为 了 解决 这 ce ， puppet-openstack 社 
区 推行 了 一 种 新 的 配置 方式 ， 对 ini 格式 的 自 定 义 资源 进行 了 一 些 修改 ， 例 如 对 于 

nova_config 这 个 资源 来 说 ， 使 用 一 个 特定 的 value sero? 
文件 中 删除 : 


nova_config { 'DEFAULT/memcached_servers': 
value => '<SERVICE DEFAULT>', 


4% value 参数 传递 '<SERVICE DEFAULT>' 这 个 特定 的 字符 串 时 ， 将 会 从 nova 
的 配置 中 删除 对 应 的 配置 ， 这 样 服务 就 会 使 用 ne B iud ' SSERVICE 
DEFAULT» ' An 串 也 是 由 puppet-openstacklib 这 个 模块 通过 自 定义 facter 提供 

的 ， 其 他 模块 只 需要 引用 这 个 facter 就 可 以 了 ， 不 rr 
是 什么 。 这 个 自 定义 的 facter 是 使 用 ruby 原生 的 方式 ， 和 键 值 对 的 方式 定义 的 ， 
这 个 facter 就 是 $os service default : 


require 'puppet/util/package' 


if Puppet::Util::Package.versioncmp(Facter.value(:facterversion), 
Facter.add('os service default') do 
setcode do 
' «SERVICE DEFAULT>' 
end 
end 


end 





有 了 这 个 自 定义 的 facter， 其 他 模块 中 ， 就 可 以 使 用 这 个 facter 作为 配置 文件 参数 
的 默认 值 ， 即 默认 从 配置 文件 中 删除 对 应 的 选项 ， 由 服务 自己 来 使 用 默认 值 ， 这 样 
在 puppet 中 也 不 用 额外 维护 一 套 各 服务 配置 的 默认 配置 了 ， 同 时 也 减少 了 很 多 条 
件 判 断 语 句 的 代码 o 


小 结 


puppet-openstacklib 这 个 模块 的 主要 功能 是 作为 其 他 模块 的 基础 模块 使 用 ， 对 其 他 
模块 提供 自 定义 的 资源 和 facter， 用 于 配置 数据 库 ，policy.json， 以 及 CLI 接口 的 
认证 ， 几 乎 所 有 的 openstack 模块 都 会 使 用 此 模块 。 


e puppet-openstacklib 
o 核心 代码 讲解 
m openstacklib::db::mysql 
m openstacklib::service::validation 
m openstacklib::policy::base 
= Puppet::Provider::Openstack::Auth 
m openstack_config 


m OS Service default 
o 人 小结 


puppet-openstack-integration 


1. 先睹为快 -一 言 不 合 ， 立 马 动手 ? 
2. 核心 代码 讲解 - scenario 

o scenario-aio.pp 
3. 小 结 


4. 动手 练习 - 光 看 不 练 假 把 式 


Puppet-openstack-integration 模块 确保 社区 可 以 持续 地 测试 和 验证 使 用 
Puppet modules 部 署 的 Openstack 集 群 。 


建议 在 阅读 其 他 module 前 ， 优 先 阅读 本 节 内 容 。 


本 节 作者 : 余兴 起 
阅读 级 别 : 必 读 阅读 时 间 1 小 时 


先睹为快 


如 果 你 想 要 使 用 puppet modules 部 署 一 套 all-in-one 的 openstack 集 群 ， 那 么 可 以 在 
虚拟 机 (Ubuntu 14.04 或 者 CentOS 7.X) 的 终端 下 执行 以 下 命令 : 


git clone git://git.openstack.org/openstack/puppet -openstack-integ! 
cd puppet-openstack-integration 


./all-in-one.sh 





我 们 分 析 以 下 这 是 怎么 做 到 的 ? 


all-in-one.sh 是 一 个 逻辑 比较 简单 的 脚本 ， 其 调用 了 run_tests.sh 脚 本 。 这 个 脚本 的 
主要 作用 有 3 点 : 


安装 Puppet 相 关 软 件 包 ， 
e 执行 puppet apply 命 令 ， 完 成 相应 服务 的 安装 配置 
* 


e 安装 配置 tempest 并 相应 运行 Smoke 测试 
这 里 面 主要 讲解 一 下 是 如 何 实 现 服务 的 安装 配置 ， 主 要 使 用 的 是 run_puppet 有 函数 。 
H BRL 


PUPPET_ARGS="${PUPPET_ARGS} --detailed-exitcodes --color-false --te 
PUPPET_FULL_PATH=$(which puppet) 
function run_puppet() { 

local manifest=$1 

$SUDO $PUPPET FULL PATH apply $PUPPET_ARGS fixtures/${manifest_ 


local res-$? 


return $res 


| EE 





ET düik 2278 A 3 A-Xrun_puppet 4k : 


# SCENARIO 即 要 运行 的 manifests 文 件 ， 决 定 了 安装 哪些 服务 
print_header "Running Puppet Scenario: ${SCENARIO} (1st time)" 
run_puppet $SCENARIO 
RESULT=$? 
set -e 
if [ $RESULT -ne 2 ]; then 
print header 'SELinux Alerts (1st time)' 
catch selinux alerts 
exit 1 
Ta 


# Run puppet a second time and assert nothing changes. 
set +e 
print_header "Running Puppet Scenario: ${SCENARIO} (2nd time)" 
run_puppet $SCENARIO 
RESULT=$? 
set -e 
if [ $RESULT -ne © ]; then 
print_header 'SELinux Alerts (2nd time)' 
catch_selinux_alerts 
exit 1 
T 


核心 代码 讲解 


目前 Openstack Intra 一 共 使 用 了 三 个 测试 场景 ， 用 于 跑 puppetopenstack 的 集成 测 
i&: scenario001, scenario002，scenario003. 


而 scenario-aio manifest 4€ Pt 25-28 3- T fif. fe F J PuppetOpenstack*A A 8771] P » 
它们 之 间 的 区 别 参 见 下 表 : 


scenario001 


ssl yes 
ipv6 centos7 
keystone X 
tokens uuid 
glance rbd 
nova rbd 
neutron OVS 
cinder rbd 
ceilometer X 
aodh X 
gnocchi rbd 
heat 
swift 
sahara 
trove 
horizon 
ironic 
zaqar 
ceph X 
mongodb 
scenario-aio 


scenario002 
yes 


centos7 


scenario003 
yes 
centos7 
X 
fernet 
file 
X 


linuxbridge 


scenario-aio 
no 


no 


这 里 我 们 以 scenario-aio 来 解释 它 是 如 何 部 署 起 一 个 Dpenstack All-in-One $4 3535 


的 。 scenario-aio 的 文件 路 径 为 : 


fixtures/scenario-aio.pp 


i 


BA 85 RAHAT VAIeiÉaio X fmg* mysql» keystone’ glance > neutron 4 Jl 
include ::openstack integration 

include ::openstack integration::rabbitmq 
include ::openstack integration::mysql 
include ::openstack integration::keystone 
include ::openstack integration::glance 
include ::openstack integration::neutron 
include ::openstack integration::nova 
include ::openstack integration::cinder 
include ::openstack integration::horizon 
include ::openstack_integration: :provision 


# aio 中 还 配置 了 tempest， 除 了 默认 支持 的 nova，keystone，glance 等 服务 外 ， 开 局 
class ( '::openstack integration::tempest': 


horizon -» true, 
Cinder => true, 


ayo 





MZT’ KNTHABRERAANKP-REK AT TA ate > RAND FH 
选 了 mq 和 glance 进 行 解 释 和 说 明 。 


class openstack integration::rabbitmq 
我 们 可 以 理解 为 在 openstack integration? manifests 8 xx F * PTA 4e IR 2-38 KAY XE 
都 是 转发 展 ， 即 对 某 个 服务 模块 的 调用 。 


在 openstack_integration::rabbitmq 中 ， 通 过 调用 class rabbitmq 完 成 了 对 rabbitmq 
的 安装 和 配置 ， 并 创建 了 一 个 路 径 为 /的 vhost， 更 多 对 rabbitmq 类 的 介绍 ， 请 参见 
puppet-rabbitmq 模 块 。 


class openstack integration::rabbitmq { 


include ::openstack integration::params 
include ::openstack integration::config 


if $::openstack_integration: :config::ssl { 
file { '/etc/rabbitmg/ssl/private': 
ensure => directory, 


owner => 'root', 


mode => '0755", 
selinux_ignore_defaults => true, 
before => File["/etc/rabbitmg/ssl/private/$: 


} 

openstack_integration::ssl_key { 'rabbitmq': 
key path => "/etc/rabbitmgq/ssl/private/${::fqdn}.pem", 
require => File['/etc/rabbitmq/ssl/private'], 


notify -» Service['rabbitmq-server'], 
} 
class { nabbatemo: 
package_provider => $::package_provider, 
delete_guest_user => true, 
ssl => true, 
ssl_only => true, 
ssl_cacert => $::openstack_integration::params: :ci 
ssl_cert => $::0penstack integration::params::ct 
ssl key => "/etc/rabbitmg/ssl/private/${::fqdn_ 
environment variables => $::openstack integration::config::r: 
} 
} else { 
class { '::rabbitmq': 
package_provider => $::package_provider, 
delete_guest_user => true, 
environment variables => $::openstack_integration::config::ré 
} 


} 

rabbitmq vhost { '/': 
provider -» 'rabbitmqctl', 
require => Class['::rabbitmq'], 





class openstack_integration::glance 


挑选 glance 的 原因 在 于 其 代码 相 比 其 他 服务 更 简洁 一 些 ， 读 者 理解 起 来 会 稍微 容易 
一 些 。 我们 可 以 看 到 其 


e 调用 glance::api 和 glance::resgistry 完 成 了 glance 服 务 的 配置 

e 调用 glance::notify::rabbitmq 完 成 了 MQ 的 配置 

e 调用 glance::db::mysql 完 成 数据 库 的 配置 

e 调用 glance::client 完 成 client 的 配置 

e 调用 glance::keystone::auth 完 成 glance keystone 相 关 的 配置 

e 通过 传递 的 参数 值 ， 选 择 调用 
glance::backend::file/glance::backend::rbd/glance::backend::swift 完 成 后 端 存 
储 的 配置 


class openstack_integration::glance ( 
$backend = 'file', 


Jut 


include ::openstack integration::config 
include ::openstack integration::params 


if $::0penstack integration::config::ssl { 
openstack integration::ssl key { 'glance': 
notify -» [Service['glance-api'], Service['glance-registry']: 
} 
Package<| tag == 'glance-package' |> -> File['/etc/glance/ssl'. 
$key_file = "/etc/glance/ssl/private/${::fqdn}.pem" 
$crt file = $::0penstack integration::params::cert path 
Exec['update-ca-certificates'] -» Service['glance-api'] 
Exec['update-ca-certificates'] -» Service['glance-registry'] 
) else ( 
$key file - undef 
$crt file = undef 


rabbitmq user ( 'glance': 
admin -» true, 
password -» 'an even bigger secret', 
provider -» 'rabbitmqctl', 
require => Class['::rabbitmq'], 

j 

rabbitmq user permissions { 'glanceQ/': 
configure permission -» '.*', 
write permission = A 


read_permission St M 
provider => 'rabbitmqctl', 
require => Class['::rabbitmq'], 
} 
class { '::glance::db::mysql': 
password => 'glance', 
} 
include ::glance 
include ::glance::client 


class { '::glance::keystone::auth': 
public url => "${::openstack_integration: :config: :base_url}:: 
internal url => "$í[::openstack integration::config::base url):: 
admin url => "$(::openstack integration::config::base url):: 
password -» 'a big secret', 

} 

case $backend { 
'file': { 


include ::glance::backend::file 
$backend_store = ['file'] 
j 
lel ool 
class { '::glance::backend::rbd': 
rbd store user => 'openstack', 
rbd store pool -» 'glance', 
j 
$backend store - ['rbd'] 
4 make sure ceph pool exists before running Glance API 
Exec['create-glance'] -» Service['glance-api'] 


} 
'swift': { 
Service<| tag == 'swift-service' |> -> Service['glance-api'] 
$backend_store = ['swift'] 
class { '::glance::backend::swift': 
swift_store_user => 'services:glance', 
swift_store_key => 'a big secret', 
swift store create container on put -» 'True', 
swift store auth address => "$(::openstack inte( 
swift store auth version => '3', 
} 


default: 1 


fail("Unsupported backend (${backend})") 


} 
$http_store = ['http'] 


$glance_stores = concat($http_store, $backend_store) 


class ( '::glance::api': 


debug 

database connection 
keystone password 
workers 

stores 

default store 

bind host 

auth uri 

identity uri 


registry client protocol => $: 


-» true, 


=> 'mysql-*pymysql://glance:glanceQ12; 


- oL 


=> 27 


big secret', 


-» $glance stores, 
=> $backend, 


= She 
—b St 
= She 


:openstack_integration: 
:Openstack_integration: 
:openstack_integration: 
:openstack integration: 


registry client cert file => S$crt file, 
file => $key file, 


registry client key 


registry host 


=> $:: 


openstack_integration: 


:config: 
:config: 
:config: 
:config: 


:config: 


cert_file => $crt_file, 
key_file => $key_file, 

} 

class { '::glance::registry': 
debug => true, 
database connection => 'mysqlt+pymysql://glance:glance@127.0.0.: 
keystone_password => 'a_big_secret', 
bind_host => $::openstack_integration::config::host, 
workers => 2, 
auth_uri => $::0penstack integration::config::keyst« 
identity uri => $::0penstack integration::config::keyst« 
cert file -» $crt file, 
key file => $key file, 

j 

class ( '::glance::notify::rabbitmq': 
rabbit userid -» 'glance', 
rabbit password -» 'an even bigger secret', 
rabbit host => $::0penstack integration::config::ip fo! 
rabbit port => $::0penstack integration::config::rabbil 


notification driver => 'messagingv2', 


rabbit_use_ssl => $::openstack integration::config::ssl, 








puppet-openstack integration 模 块 为 PuppetOpenstack 项 目 提供 了 集成 测试 的 功 
能 ， 同 时 也 为 用 户 提供 了 快速 部 署 AID 测 试 环境 的 脚本 。 如 果 你 是 刚 开 始 了 解 该 项 
目 ， 那 么 这 个 模块 是 快速 熟悉 Openstack 各 个 基础 模块 的 一 条 路 径 。 


动手 练习 


1. 在 aio 场 景 中 添加 sahara 服 务 
2. 在 install_module.sh 中 的 r10k 命 令 的 作用 是 ? 
3. bundler 的 作用 是 什么 ? 


e puppet-openstack-integration 
o 先睹为快 
o 核心 代码 讲解 
m scenario-aio 
m class openstack integration::rabbitmq 
m class openstack integration::glance 
o 人 小结 


o 动手 练习 


puppet-openstack-specs 
1. 模块 讲解 
本 节 作者 : 余兴 起 


阅读 级 别 : 选读 
阅读 时 间 : 0.5 小 时 


本 章节 也 是 选读 章节 ， 仅 对 模块 做 了 一 个 简单 介绍 

puppet-openstack-specs 模块 是 用 于 管理 Blueprint design document， 对 
Openstack 了 解 的 同学 应 该 知道 ， 在 早年 ， 社 区 使 用 Launchpad 来 管理 
BluePrint(BP)， 后 来 过 渡 到 使 用 这 种 Markdown 语 法 编写 +Code review 的 方式 来 管 
理 功能 开发 文档 ， 我 觉得 这 是 一 个 非常 好 的 设计 ， 在 文档 的 格式 定义 ， 归 档 ， 搜 索 
上 有 非常 有 益 的 尝试 。 


模块 讲解 


与 PuppetOpenstack 相 关 的 specs 放 在 specs/ 目 录 下 ， 并 根据 release 版 本 不 同 ， 划 
分 出 了 不 同 的 目录 。 


例如 以 Newton 的 某 个 BP 为 例 : Configuration File Deprecation Support 
它 使 用 如 下 目录 对 BP 进 行 详 细 地 描述 : 


e Problem description # 问 题 描 述 
e Proposed change # 提 出 的 改进 计划 
o Alternatives # 其 他 替代 方案 
o Data model impact # 对 数据 模型 的 影响 
o Module API impact # 对 模块 API 的 影响 
o End user impact # 对 终端 用 户 的 影响 
o Performance Impact # 对 性 能 的 影响 
o Deployer impact # 对 部 署 人 员 的 影响 
o Developer impact # 对 开发 人 员 的 影响 
e Implementation # 实现 相关 
o Assignee #44 JRA 
o Work Items # 任 务 列 表 


- 
总 结 


Dependencies #1% # 


Testing #i iX, 

Documentation Impact # 对 文档 的 影响 
References # 参 考 链接 

为 四 个 字 : 非常 专业 。 


puppet-openstack-specs 
o 模块 讲解 


puppet-openstack-cookiebutter 


先睹为快 
模块 讲解 
小 结 


动手 练习 - 光 看 不 练 假 把 式 


> B MDT 


本 篇 是 选读 章节 ， 和 Openstack 部 署 没有 直接 的 管理 ， 本 节 推 荐 从 事 开 发 并 维护 自 
研 Puppet module 的 读者 。 


1. 先 暑 为 快 


puppet-cookiebutter 模块 用 于 快速 生成 一 个 符合 PuppetOpenstack 代 码 风 格 的 
新 module。 不 想 看 下 面 大 段 的 代码 说 明 ， 已 经 跃跃欲试 了 ? 


Ok， 我 们 开始 吧 ! 


打开 虚拟 机 终端 并 输入 以 下 命令 : 
使 用 pip 安 表 cookiecutter 
$ cookiecutter puppet-openstack-cookiecutter/ 
project name [YOURPROJECTNAME without 'puppet-']: test 
version [0.0.1]: 
year [2016]: 


接着 进入 到 puppet-test 模 块 查看 其 目录 结构 ， 包 含 manifests/，spec/ 和 |ib/ 目 录 ， 
manifests 目 录 下 创建 了 通用 代码 目录 ， 例 如 db/ 下 的 mysql.pp, posygresql.pp, 
sync.pp 等 。 同 时 puppet-test 添 加 了 LICENSE 和 README 等 文件 ， 在 此 基础 上 可 以 
开始 进行 新 module 的 开发 工作 : 


`-- puppet 
|-- provider 
| ^-- test config 


| ^-- ini setting.rb 
*~-- type 
~-- test config.rb 
-- manifests 
|-- config.pp 
|-- db 
| |-- mysql.pp 
| |-- postgresql.pp 
| -Sync.pp 
|-- db.pp 
|-- init.pp 
|-- keystone 
| ^-- auth.pp 
|-- logging.pp 
|-- params.pp 
`-- policy.pp 
-- metadata.json 


|-- test_db_mysql_spec.rb 

-- test_db_postgresql_spec.rb 
-- test_db_spec.rb 

-- test_keystone_auth_spec.rb 
-- test_logging_spec.rb 

-- test_policy_spec.rb 

-- shared_examples.rb 


^-- unit 
|-- provider 
| ^-- test config 
| `-- ini setting spec.rb 
^-- type 

~-- test config spec.rb 
`-- tests 
^-- init.pp 


模块 讲解 


在 介绍 puppet-openstack-cookiebutter 模块 之 前 ， 先 了 解 一 
下 Cookiecutter : 


一 个 用 于 创建 项 目 模板 的 命令 行 工具 集 ， 最 初 的 目的 是 用 于 创建 Python 项 目 。 
使 用 该 工具 可 以 非常 快速 地 生成 一 个 Python 软件 包 项 目 : 


cookiecutter https://github.com/audreyr/cookiecutter-pypackage.git 


到 = — l 





关于 cookiecutter 的 使 用 就 不 再 展开 ， 更 详细 的 文档 说 明 请 参见 : 


e Documentation: https://cookiecutter.readthedocs.io 
e GitHub: https://github.com/audreyr/cookiecutter 
e PyPI: https://pypi.python.org/pypi/cookiecutter 


本 节 不 涉及 任何 代码 的 讲解 ， 仅 简要 介绍 一 下 其 工作 原理 : cookiecutter 使 用 了 
Python 的 Jinja2 库 对 预 置 模板 进行 泻 染 ， 在 puppet-openstack-cookiebutter 模 块 中 
A —* HR puppet-{{cookiecutter.project_name}} ， 其 目录 结构 如 下 : 


-- lib 
`-- puppet 
|-- provider 
| ^-- {{cookiecutter.project_name}} config 
`-- type 
-- manifests 
|-- db 
^-- keystone 
-- spec 
|-- classes 
~-- unit 
|-- provider 
| `-- {{cookiecutter.project_name}} config 
-- type 
-- tests 


可 以 看 到 模板 变量 {{cookiecutter.project_name}} ， 那 么 在 何 处 定义 呢 ? 


打开 cookiecutter.json 文件 就 可 以 看 到 : 


"project name": "YOURPROJECTNAME without 'puppet-'", 


Wersilon. 9 gd 
"year 2 72016" 
J 
3. 26 


puppet-openstack-cookiebutter 是 一 个 辅助 性 模块 ， 通 过 它 可 以 快速 地 创建 
一 个 Openstack 服 务 模块 的 所 有 基础 代码 目录 和 文件 。 如 果 在 公司 内 部 恰巧 有 开发 
内 部 模块 的 需求 ， 那 么 通过 它 可 以 快速 地 构建 出 一 个 新 模块 。 


4.25 3-25. 7] 


1. 阅读 contrib/bootstrap.sh 脚 本 并 解释 其 使 用 用 途 
2. 在 puppet- 中 添加 一 个 新 文件 guide.md， 并 生成 一 个 新 模块 puppet-cook 


e puppet-openstack-cookiebutter 
o 1.2584 A k 
o 模块 讲解 
o 3. 小 结 
o 4. 动 手 练习 


puppet-modulesync-configs 


1. 先睹为快 
2. 模块 讲解 


本 节 作 者 : 余兴 超 
阅读 级 别 : 选读 
阅读 时 间 : 0.5 小 时 


本 节 为 选读 章节 ， 推 荐 有 兴趣 的 读者 阅读 。 


先睹为快 


我 们 通过 puppet-openstack-cookiebutter 模块 的 contrib/bootstrap.sh 脚 本 来 说 
BB : 


# Step 4: Retrieve the puppet-modulesync-configs directory and coni 
ES 

git clone https://review.openstack.org/openstack/puppet -modulesync: 
pushd puppet-modulesync-configs/ 

cat » managed modules.yml ««EOF 


- puppet-$proj 
cat » modulesync.yml ««EOF 


namespace: 

git base: file://$tmp var/cookiecutter/ 
branch: initial commit 

EOF 


4 Step 5: Run msync and amend the initial commit 

5 

msync update --noop 

pushd modules/puppet -$proj 

md5password= ruby -e "require 'digest/md5'; puts 'md5' + Digest::MI 


sed -i "s|[md5c530c33636c58ae83ca933f 39319273e | $(md5password)|g" spe 
git remote add gerrit ssh://$user( y review.openstack.org:29418/0penst 
git add --all && git commit --amend -am "puppet-${proj}: Initial cc 


This is the initial commit for puppet-${proj}. 
It has been automatically generated using cookiecutter[1] and msync 


[1] https://github.com/openstack/puppet-openstack-cookiecutter 
[2] https://github.com/openstack/puppet -modulesync-configs 


The new project has been successfully set up. 


To submit the initial review please go to ${tmp_var}/puppet module: 
and run git review. 


Happy Hacking ! 





— 义 上 步骤 ， kd module F) 3 Gemfile,Rakeflie x 4+ > HP 44 
行 同步 操作 的 关键 命令 是 


B 注意 需要 使 用 gem 安 装 msync 命 
msync update 


模块 讲解 


打 一 个 比方 ，modulesync-config 模 块 类 似 于 Openstack 的 requirements 项 目 。 用 于 
管理 Gem 包 的 依赖 ，Rakefile 的 配置 等 等 。 它 有 几 个 重要 的 文件 : 


e config defaults.yml : 第 一 层级 的 键 表示 模块 被 管理 的 文件 名 

e .sync.yml : 出 现在 各 自 module 中 ， 将 覆盖 config defaults 中 的 值 
e managed modules.yml :被 管理 的 module 列 表 

e modulesync.yml : 传递 到 Modulesync 命 令 行 的 键 值 对 参数 对 


深入 理解 OpenStack 自 动 化 部 署 
关于 puppet-modulesync-configs 的 用 途 比 较 单 一 ， 因 此 不 再 深入 展开 ， 更 详 
细 的 解释 参见 其 模块 说 明 。 


e puppet-modulesync-configs 
o 先睹为快 
o 模块 讲解 


puppet-modulesync-configs 319 


puppet-openstack_spec_helper 


This will be done in v0.2 


e puppet-openstack_spec_helper 


puppet-stdlib 


1. 先睹为快 

2. 核心 资源 讲解 

3. 小 结 

4. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : 余兴 起 
阅读 级 别 : 必 读 
阅读 时 间 : 1.5 小 时 


先睹为快 


puppet-stdlib 是 由 Puppet 官 方 提供 的 标准 库 模块 。 这 是 一 个 聚宝 爹 ， 几 乎 在 前 
面 介 绍 的 Openstack 模 块 中 都 会 使 用 到 它 。 因 为 DSL 作 为 一 个 不 完整 的 语言 (不 是 
SA) ， 缺 少 某 些 内 置 魔法 和 特性 会 让 程序 员 们 抓 狂 。 
例如 ， 在 Python 中 借助 内 置 库 可 以 轻松 地 做 数值 比较 : 


max(1,2,3) 


那么 在 原生 Puppet 中 ， 你 只 能 望 而 兴叹 。 因 此 我 们 需要 -puppet-stdlib 模 块 ! 


+ 和 Python 不 同 的 是 , Max BAM £18 6] PAK 7H 
$largest=max(1, 2,3) 
notify {"$largest":} 


核心 资源 讲解 
在 这 个 模块 中 ， 它 提供 了 以 下 Puppet 资 源 : 


e Stages 

e Facts 

e Functions 

e Defined resource types 


e Types 
e Providers 


接 下 来 ， 我 们 将 挑选 一 些 使 用 频率 较 高 的 资源 进行 讲解 。 


Run Stages 


我 们 知道 为 了 保证 resources 间 的 执行 顺序 ， 可 以 使 
用 require , subscribe , notify 等 元 参数 或 者 使 用 链 式 标记 来 指定 resources 
间 的 执行 顺序 。 例 如 : 


package {'ntp': 
ensure => present 


} 
# ntp.conf 的 配置 依赖 于 ntp 软 件 包 的 安装 
file {“/ete/ntp.cont': 
ensure => present, 
require => Package[ 'ntp' ] 
} 
# ntpd 进 程 的 运行 依赖 于 ntp 软 件 包 和 配置 文件 
service {'ntpd': 
ensure => running, 
subscribe => Package['ntp'],File['/etc/ntp.conf' ] 


但 是 在 class 和 class 之 间 就 没 法 使 用 这 些 方 法 去 标记 类 之 间 的 执行 顺序 了 。 
那么 Run stages 允许 将 指定 分 组 的 类 按照 不 同 的 stage 来 顺序 执行 。 
main stage 


在 Puppet 中 ， 默 认 只 有 一 个 stage ( main ) 。 所 有 的 资源 都 被 默认 自动 地 关联 到 
这 个 stage 上 ， 如 果 你 不 显 式 地 为 Resources 指 定 stage， 那 么 所 有 的 资源 都 会 在 
‘main stage: MX ATF ° 


使 用 定制 stage 
使 用 定制 stage 和 其 他 资源 的 调用 方式 完全 相同 ， 除 了 有 一 点 硬性 要 求 是 : 


Each additional stage must have an order relationship with another stage 


例如 ， 我 们 可 以 使 用 以 下 方式 进行 声明 : 


# 通过 元 参数 的 方式 
stage { '"TXDst : 
before => Stage['main'], 
} 
# 通过 链 式 箭头 的 方式 
stage { 'last': } 
Stage['main'] -> Stage['last'] 


接 下 来 ， 我 们 只 需要 将 stage 关联 到 class : 


# Stage 作为 元 参数 出 现 
class 4 enep.: 
stage => first, 


使 用 stdlib::stages 


终于 讲 到 了 正题 了 : stdlib::stages 类 声明 了 各 种 run stages 用 于 基础 设施 ， 语 
言 运 行 时 和 应 用 的 部 署 。 它 提供 了 以 下 stages : 


e setup 

e main 

e runtime 

e setup infra 
e deploy infra 
e Setup app 
e deploy app 
e deploy 


使 用 起 来 也 很 简单 ， 不 用 先 声 明 ， 直 接 使 用 即 可 : 以 下 为 代码 示例 : 
node default { 


include stdlib 
class { java: stage => 'runtime' } 


file_line type 


配置 文件 的 管理 是 CMS 中 最 主要 的 目标 之 一 。 对 于 INI 格式 的 配置 文件 的 管理 方 
式 有 多 种 不 同 的 配置 方式 。 但 是 对 于 一 些 非 格 式 化 的 配置 文件 来 说 ， 其 配置 管理 通 
常 都 是 选择 使 用 template 的 方式 进行 管理 。 


file line type 的 出 现 ， 使 得 我 们 有 了 一 种 更 轻 量 的 方式 去 管理 非 格 式 化 配置 文 
件 。 它 的 实现 与 正则 匹配 和 替换 类 似 。 


我 们 来 看 看 实际 的 使 用 吧 : 


# 添加 指定 行 
# 在 /etc/sudoers 文 件 中 确保 `%sudo ALL=(ALL) ALL" 被 正确 添加 
file line ( 'sudo rule': 

path => '/etc/sudoers', 

line => '%sudo ALL-(ALL) ALL', 


在 实际 使 用 中 ， 除 了 添加 之 外 ， 更 多 的 场景 是 替换 : 


# 修改 指定 和 
# _ match 参数 允许 使 用 正则 表达 式 来 精确 匹配 文本 行 中 的 内 容 


file line ( 'bashrc proxy': 
ensure -» present, 
path -» '/etc/bashrc', 
line => 'export HTTP PROXY-http://squid.puppetlabs.vm:3128', 
match => 'Aexport\ HTTP PROXYN-', 


在 一 些 场景 下 ， 我 们 需要 删除 配置 文件 中 指定 的 行 : 


# 删 除 指 定 行 
4match for absence 参 数 决定 在 ensure => absent 下 ， 是 否 执行 操作 
#mutiple 确保 在 多 行 匹 配 时 继续 执行 操作 (否则 报错 ) 
file line ( 'bashrc proxy': 


ensure -» absent, 

path -» '/etc/bashrc', 

line => 'export HTTP PROXY-http://squid.puppetlabs.* 
match => '^exportN HTTP PROXYN-', 


match for absence -» true, 
multiple -» true 


4 =a a 





ensure_packages 


ensure packages 接受 array/hash 类 型 的 软件 包 列表 ， 并 确保 它们 被 正确 地 安 
装 。 其 实 和 package 资源 的 使 用 是 相似 的 ， 但 最 大 的 不 同 点 ， 在 

于 ensure packages 函数 可 以 被 安全 地 多 次 定义 ， 而 不 会 发 生 duplicated 
resource 的 错误 。 下 面 举例 说 明 其 使 用 : 


& array 类 型 ， 其 中 'Kksh' 被 重复 传 了 2 次 ， 但 可 以 安全 通过 编译 
ensure_packages(['ksh', 'openssl'], {'ensure' => 'present'}) 
ensure_packages(['ksh','vim'], {'ensure' => 'present'}) 
# 
ensure_packages({'ksh' => { enure => '20120801-1' } , 
'mypackage' => 
{ source => '/tmp/myrpm-1.0.0.x86_64.rpm 
{'ensure' => 'present'}) 


a 一 一 





ensure resource 与 其 类 似 ， 这 里 就 不 再 展开 说 明 。 


validate xxx 


stdlib 中 提供 大 量 的 validate_xxx 前 级 开头 的 函数 ， 它 们 的 作用 是 对 输入 源 进行 验 
证 ， 常 被 用 于 变量 类 型 检查 中 ， 有 点 类 似 于 assert 的 断言 ， 若 为 false， 则 退出 
catalog 的 编译 。 


例如 : validate bool 验证 所 有 传 入 的 参数 是 否 都 为 true/false 布 尔 类 型 。 


$iamtrue = true 
validate_bool(true) 
validate_bool(true, true, false, $iamtrue) 


validate hash 函数 用 于 验证 传 入 的 参数 是 否 为 hash 类 型 
$my hash = ( 'one' => 'two' } 
validate_hash($my_hash) 

IS XXX 


stdlib 中 也 提供 了 另 一 类 型 的 验证 函数 ， 仅 当 验 证 通过 后 ， 
值 。 


is_array 验证 传 入 参数 是 否 为 array 类 型 : 


$numbers=[1, 2,3] 
is_array(Snumbers) 


is_ipv4_address 验证 传 入 参数 是 否 为 jpv4 类 型 的 地 址 : 


$my_ip='10.0.0.88' 
is_ipv4_address($my_ip) 


其 他 函数 


会 返回 true/false 的 布尔 


在 puppet-stdlib 模块 中 还 有 一 些 用 于 处 理 string，hash ，array 等 类 型 的 函数 


我 们 会 在 Openstack 模 块 和 基础 模块 中 去 单独 介绍 。 


puppet-stdlib 模块 的 出 现 极 大 地 增强 了 puppet 对 于 各 种 数据 类 型 的 处 理 能 力 ， 
提供 诸多 功能 ， 请 读者 详细 阅读 puppet-stdlib 的 readme.markdown 文件 ， 或 
者 在 线 阅 读 stdlib 的 文档 。 


动手 练习 


1. 验证 服务 器 是 否 具 有 eth1， 如 果 有 则 验证 传 入 的 $ipaddress_eth1 是 否 为 jpv4 类 
型 地 址 。 

2. 4#['china','japan','korea']# 16 A ['china-travel', 'japan-travel','koera-travel’] 

3. 判断 一 台 服 务 器 是 否 为 虚拟 机 ， 如 果 是 则 将 libvirt type 设置 为 '"qemu', 和 否则 设置 
为 "kvm' 

4. 从 $bigclass namespace 中 查询 变量 $var 的 值 ， 其 中 $bigclass='foo::bar' ( 提 


^: getvar ) 


e puppet-stdlib 

o 先睹为快 

o 核心 资源 讲解 
m Run Stages 
m file line type 
m ensure packages 
m validate xxx 
m iS XXX 
m 其 他 函数 

o 小结 


o 动手 练习 


puppet-openstack_extras 


This will be done in v0.2 


1. 先睹为快 

2. 核心 资源 讲解 

3. 小 结 

4. 动手 练习 - 光 看 不 练 假 把 式 


本 节 作 者 : 余兴 起 
阅读 级 别 : 必 读 
阅读 时 间 : 1 小 时 


puppet-openstack extras 模块 是 Openstack 模 块 的 工具 集 ， 它 主要 提供 以 下 功 


2e 
Au 。 


e composition classes 
e HA utilities 
e monitoring functionality 


它 替 代 了 早年 的 [puppet-openstack] 
(https://github.com/stackforge/puppet-openstack) 模块 (C#M) 。 


先睹为快 


e puppet-openstack_extras 
o 先睹为快 


Openstack 自 动 化 部 署 最 住 实践 


Fools ignore complexity. Pragmatists suffer it. Some can avoid it. Geniuses 
remove it. 


— Alan J. Perlis, “Epigrams in Programming” 


我 们 在 一 一 介绍 了 众多 基础 模块 ，Openstack 模 块 以 及 公共 库 模块 后 ， 是 否 就 可 以 
抢 起 神子 开始 做 大 规模 线 上 部 署 了 ? 

答案 是 No。 

哎 ， 有 话 好 好 说 ， 你 们 别 丢 自 鸡 蛋 啊 .. 

读者 : %#@($#@!， 你 骗 我 读 了 那么 长 的 文档 ， 竞 然 不 能 用 于 线 上 部 署 ! 

部 署 是 一 项 复杂 的 系统 工程 ， 前 期 的 架构 设计 ， 硬 件 规划 和 兼容 性 和 性 能 测试 ， 采 
购 ， 上 架 ， 裸 机 操作 系统 安装 ， 网 络 配置 ， 这 些 都 完成 了 ， 才 到 了 软件 部 署 阶段 。 
熟悉 本 书 介绍 的 Puppet modules， 加 上 对 于 Puppet 的 基础 使 用 ， 的 确 是 可 以 胜任 
Openstack 集 群 的 部 署 和 配置 管理 了 。 但 是 我 们 想 把 积累 了 5 年 的 Openstack 部 署 经 
验 和 4 年 的 Puppet 管 理 线 上 集群 各 种 经 验 和 教训 归纳 成 最 佳 实践 告诉 给 读者 ， 以 避 
免 不 合理 的 设计 ， 为 后 期 的 运 维 管理 埋 下 不 稳定 因素 。 


本 章 内 容 
我 们 将 其 归纳 为 以 下 几 大 块 。 
1. 代 码 管 理 相 关 : 


代码 的 规范 与 否 体 现 了 一 个 程序 员 的 素质 ， 代 码 的 管理 则 反映 了 一 家 公司 对 待 
技术 的 态度 。 
那么 代码 规范 体现 在 以 下 几 点 : 
e 使 用 版 本 控制 工具 进行 管理 
e 符合 一 门 语言 的 通用 代码 风格 要 求 
e 完整 的 文档 ， 包 含 commit 消 息 ， 代 码 注 释 ， 架 构 文档 等 
e 不 使 用 花 式 技 巧 


2. 配 置 管理 相关 : 


e Hiera 

e Node Definition 
e Environment 

e PuppetDB 


3. 任 务 编排 相关 : 


e ClusterShell 
e Ansible 


4. 运 维 原则 相关 : 
e 配置 管理 操作 的 基本 守则 


e Openstack 自 动 化 部 署 最 佳 实践 
o 本 章 内 容 


如 何 做 好 模块 管理 


不 同 于 其 他 的 Openstack 项 目 ，puppet modules 是 一 个 数量 庞大 的 存在 。 以 我 们 当 
前 在 使 用 中 的 puppet modules 为 例 ， 就 已 经 多 达 96 个 ( 破 百 计 日 可 待 ) 。 


依赖 管理 


目前 有 三 种 管理 依赖 的 方式 : 


e Git submodules 通过 git submodule 的 方式 管理 各 个 子 模块 

e Puppet module tool 可 以 使 用 puppet forge 基 于 module 名 称 和 版 本 来 搜索 和 安 
装 module 

e Librarian-puppet ruby bundler 的 扩展 ， 使 用 Puppetfile 来 管理 


我 们 分 别 就 这 三 种 方式 依次 介绍 一 下 ， 我 们 这 里 不 说 哪 种 方法 最 好 ， 但 我 们 会 说 明 
我 们 根据 什么 原因 最 终 选择 了 哪 种 方法 。 


1.Puppet module tool 


该 方法 使 用 metadata.json 文 件 来 管理 每 个 module 之 间 的 依赖 关系 ， 以 puppet-nova 
为 例 : 


"dependencies": [ 


{ "name": "puppetlabs/apache", "version_requirement": ">=1.0.0 
{ "name": "duritong/sysctl", "version requirement": ">=0.0.1 <: 
{ "name": "openstack/cinder", "version requirement": ">=8.0.0 < 
i "name": "openstack/glance", "version requirement": ">=8.0.0 < 
{ "name": "puppetlabs/inifile", "version requirement": ">=1.0.( 
{ "name": "openstack/keystone", "version requirement": ">=8.0.( 
{ "name": "puppetlabs/rabbitmq", "version requirement": ">=2.0 
{ "name": "puppetlabs/stdlib", "version requirement": ">=4.0.0 
{ "name": "openstack/openstacklib", "version requirement": "»-t 
( "name": "openstack/oslo", "version requirement": "<9.0.0" } 





2.Librarian-puppet 


librarian-puppet 支 持 从 Modulefile 或 者 metadata.json 读 取 依 赖 ， 或 者 使 用 独立 的 
Puppetfile。 例 如 ， 社 区 的 puppet-openstack_integration 项 目 里 就 包含 了 Puppetfile: 


## OpenStack modules 

mod 'aodh', 
:git => 'https://git.openstack.org/openstack/puppet-aodh', 
:ref => 'master' 


mod 'barbican', 
:git => 'https://git.openstack.org/openstack/puppet -barbican', 
:ref => 'master' 


可 以 使 用 以 下 命令 安装 其 所 依赖 的 module: 


librarian-puppet install --verbose 


3.git submodule 


git submodule 可 以 同时 管理 多 个 独立 的 项 目 ， 同 时 保持 提交 的 独立 。 这 也 是 目前 我 
们 所 选择 的 方式 。 我们 根据 Puppet Module 的 类 型 将 其 划分 成 了 三 个 项 目 (你 可 以 
理解 为 modules 的 group) 


e sunfire 内 部 自 研 服务 模块 


e storm Openstack 服 务 相 关 模 块 
e karma 运 维系 统 相 关 模 块 


我 们 会 为 storm 创 建 多 个 分 支 ， 例 如 :liberty,mitaka。 在 dev 和 test 环 境 会 使 用 git 命 令 
来 切换 代码 ， 而 在 生产 环境 则 会 使 用 RPM 包 的 方式 来 管理 。 这 样 做 的 好 处 是 : 
e 遵循 线 上 代码 统一 使 用 软件 包 管理 的 方式 
e dev 和 test 环 境 可 以 随时 修复 代码 并 且 灵 活 切 换 


e 如 何 做 好 模块 管理 
o 依赖 管理 


Hiera 


AA 

1. 简 介 和 历史 

Hiera 是 基于 键 值 查 询 的 数据 配置 工具 ，Hiera 是 一 个 可 选 工具 ， 它 的 目标 是 : Hiera 
makes Puppet better by keeping site-specific data out of your manifests 

它 的 出 现 使 得 代码 逻辑 和 数据 可 以 分 离 管 理 。 


在 Puppet 2.x 版 本 时 代 ，Hiera 作 为 一 个 独立 的 组 件 出 现 ， 若 要 使 用 则 需要 单独 安 
装 。 在 3.x 版 本 之 后 ，Hiera 被 整合 到 Puppet 的 代码 中 去 。Hiera 是 Hierarchal 单 词 的 
缩写 ， 表 明了 其 层次 化 数据 格式 的 特点 。 


1.1 实例 说 明 


在 使 用 hiera 前 ， 一 个 常见 的 manifests 文 件 是 这 么 编写 的 : 


node "kermit.example.com" { 
class ete nels 


servers => orus pool -fntp.org bürst . '3-us-pool-ntp-org 
autoupdate => false, 

restrict => [], 

enable => true, 


node "grover.example.com" { 
class /neo 


servers => [ 'kermit.example.com', '0.us.pool.ntp.org iburst 
autoupdate => true, 

restrict => [], 

enable => true, 


node "snuffie.example.com", "bigbird.example.com", "hooper.example 
class {ep 


servers => [ 'grover.example.com', 'kermit.example.com'], 
autoupdate => true, 
enable => true, 





在 使 用 了 Hiera 之 后 ，manifests 文 件 发 生 了 如 下 变化 : 


node "kermit.example.com", "grover.example.com", "snuffie.example. 
include ntp 
# or: 
#- class € "ntp^s } 





所 有 的 数据 设置 移 到 了 hiera 中 : 


ntp::restrict: 


ntp::autoupdate: false 
ntp::enable: true 
ntp::servers: 
- 0.us.pool.ntp.org iburst 
- 1.us.pool.ntp.org iburst 
- 2.us.pool.ntp.org iburst 
- 3.us.pool.ntp.org iburst 


2.hiera.yaml 配 置 文件 


hiera.yaml 是 Hiera 唯 一 的 配置 文件 ， 它 其 中 只 有 少数 几 个 配置 参数 ， 但 决定 了 Hiera 
不 同 的 使 用 方式 。 


2.1 文件 路 径 


在 puppet.conf 中 通过 设置 hiera_config 参 数 来 设置 hiera.yaml 文 件 的 路 径 ， 默 认 值 
为 : $confdir/hiera.yaml 


注意 Puppet 4.x 以 上 时 ， 上 默认 值 变 更 为 $codedir/hiera.yaml 


2.2 参数 详解 


以 下 为 hiera.yaml 配 置 文件 的 默认 值 : 


:backends: yaml 
:yaml: 
# on *nix: 
:datadir: "/etc/puppetlabs/code/environments/96(environment)/hier: 
# on Windows: 
:datadir: "C:\ProgramData\PuppetLabs\code\environments\%{environr 
: hierarchy: 
- "nodes/%{::trusted.certname}" 
- "common" 
:logger: console 
:merge behavior: native 
:deep merge options: {} 


[E 





参数 名 称 类 型 说 明 
st 或 每 一 行 表 示 静 态 或 动态 的 数据 源 ， 动 态 源 是 
:hierarchy E 指使 用 了 %{fvariable} 格 式 的 变量 ，hiera 采 用 
y ， 从 上 往 下 的 顺序 读 取 数 据 源 。 
:backends d yaml 或 json， 黑 认 值 :yaml 


决定 warning 和 debug 级 别 日 志 的 发 送 位 置 : 

console (messages 送 到 STDERR), puppet 
:logger str (messages 送 到 Puppet 日 志 系 统 ), noop 
(messages 静 默 ) Puppet 会 将 值 覆 盖 为 
puppet， 无 论 设置 为 其 他 任何 一 个 值 。 
native (default) — 仅 合并 最 顶层 key; deep 一 
递归 合并 ; 在 遇 到 冲突 的 key 时 , 低 优 先 级 会 被 
使 用 。deeper 一 递归 合并 ; 在 遇 到 冲突 的 key 
时 , 高 优先 级 会 被 使 用 。 


当 :merge_behavior 设 置 为 deep 或 deeper 时 使 
用 


:merge behavior str 


:deep merge options array 


:yaml / :json :datadir str 数据 源 文件 的 查找 路 径 


Automatic Parameter Lookup 


Hiera 是 用 来 存储 数据 的 地 方 ， 那 么 当 Puppet 代码 中 需要 从 hiera 中 读 取 某 个 数据 
时 ， 我 们 可 以 在 代码 中 使 用 hiera() BAA Zr X > hieradata 中 查找 某 个 键 值 存储 
的 数据 ， 例 如 在 hieradata 文件 test.yaml 中 定义 了 : 


foo: bar 


那么 ， 我 可 以 在 Puppet 代码 中 获取 foo 这 个 键 对 应 的 值 : 


$text = hiera('foo') 
notify { "$text": } 


foo 这 个 键 对 应 的 值 通过 hiera 元 数 获取 到 之 后 被 保存 在 了 $text 变量 中 。 


除了 使 用 hiera(), hiera include(), hiera_array(), hiera_hash() 等 函数 去 hieradata 中 
读 取 之 外 ，Puppet 还 会 自动 从 Hiera 中 查找 类 参数 ， 查 找 键 为 
myclass:parameter one ( 即 类 名 :: 参 数 名 ) » 


在 定义 一 个 Puppet 类 时 ， 可 以 定义 默认 的 参数 值 ， 例 如 下 面 的 myclass 类 的 参数 
$parameter_one 使 用 了 默认 值 "default text" : 


class myclass ($parameter_one = "default text") { 
file {'/tmp/foo': 
ensure => file, 
content => $parameter_one, 
n 
} 


当 我 们 调用 myclass 这 个 类 时 ，Puppet 遵循 如 下 方式 来 设 定 $parameter_one 这 个 
参数 的 值 : 


1. 如 果 在 调用 这 个 类 的 时 候 ， 显 式 的 向 其 传递 了 参数 值 ， 那 么 Puppet 使 用 显 式 
传递 的 值 作为 参数 的 值 。 

2. 如 果 调 用 类 时 没有 传递 参数 的 值 ， 那 么 Puppet 会 自动 从 Hiera 中 查询 参数 的 
值 ， 查 找 时 使 用 :: 做 为 查找 的 键 (例如 上 面 的 myclass 类 的 prarameter_one 参 
数 ， 查 找 键 为 myclass::parameter_one) 

3. 如 果 方 法 1 和 2 都 没有 获取 到 值 ， 那 么 Puppet 会 使 用 类 定义 中 参数 的 默认 值 作 
为 参数 的 值 (例如 myclass 中 prameter one 参数 的 默认 值 为 "default text" ) 

4. 如 果 1 至 3 都 没有 获取 到 值 ， 那 么 Puppet 将 会 直接 报错 ， 代 码 的 编译 将 被 中 


上 面 的 方法 2 X Puppet 最 有 趣 的 地 方 ， 因 为 Puppet 会 自动 从 Hiera 中 查找 参数 的 
值 ， 我 们 可 以 在 代码 中 使 用 include 语句 来 调用 一 个 类 ， 不 需要 对 其 传递 任何 参数 
值 ， 所 有 的 参数 传递 都 可 以 将 参数 值 写 到 Hiera 中 ，Puppet 会 自动 从 Hiera 中 读 取 
类 的 参数 。 例 如， 我 想 调用 上 面 定 义 的 myclass 类 ， 并 且 $parameter_one 的 参数 
值 为 "ustack"， 参 数 的 传递 使 用 Hiera 来 完成 。 那 么 我 需要 在 Hiera 中 写 入 下 面 的 
值 : 


myclass::parameter_one: 'ustack' 


在 代码 中 ， 调 用 myclass 类 : 


include myclass 


这 里 不 用 对 myclass 传递 参数 ，myclass 会 自动 读 取 Hiera 中 对 parameter_one X 
义 的 值 ， 即 $parameter_one 的 值 在 调用 时 为 "ustack' 


参考 文档 


http://docs.puppetlabs.com/hiera/latest/ 


e Hiera 
e 1. 简 介 和 历史 
o 1.1 实例 说 明 
e 2.hiera.yaml 配 置 文件 
o 2.1 文件 路 径 
o 2.2 参数 详解 
o Automatic Parameter Lookup 
e 参考 文档 


$e SAL Iw 


注意 : 本 节 主 要 以 内 部 的 最 佳 实践 分 享 ， 非 强制 要 求 。 


m. 


Puppet Modules 使 用 git 做 版 本 控制 工具 ， 因 此 我 们 这 里 不 会 去 重复 git 文 档 中 的 基础 


知识 点 。 
我 们 这 里 主要 提 及 的 有 以 下 几 点 : 


e 每 次 commit 中 应 该 包含 哪些 代码 ? 
e commit message 的 格式 应 该 怎么 写 ? 
e 代码 提交 是 否 应 该 和 其 他 系统 关联 ? 


e 每 次 提交 只 包含 相关 的 Puppet 代 码 逻 辑 和 单元 测试 

e 第 一 行 是 commit 的 简短 描述 

e 在 第 一 行 和 后 面 段 落 之 间 插 入 一 个 空 行 

e 提供 针对 本 次 commit 的 详细 描述 (可 选 ) 

e 本 次 提交 的 类 型 ,Type 是 :(BF|INF|RFIOT|BugFix|NewFeature|ReFactor|Other) 
e 关联 JIRAissue，Jira: link 链 接 


m kk 


e 每 行 不 能 超过 72 个 字符 


1.1 Type 类 型 说 明 


Type T 
FS 全 称 说 明 
BF BugFix 漏洞 ， 问 题 修复 


NF NewFeature ”新 特性 开发 
RF ReFactor 代码 重 构 ， 架 构 重 构 ， 文 档 补 充 等 


其 他 类 型 ， 例 如 ， 添 加 .gitreview， 添 加 .gitignore， 添 


E SI 加 mailmap 等 与 项 目 无 关 操作 


1.2 Label 类 型 说 明 


Label# 


型 
Type 
Jira 
FC 


CT 


全 称 


Commit-Type 
Jira-Link 


Forward 
Compatibility 


CriTicality 


1.3 格式 样 例 


说 明 


必 填 ， 本 次 提交 的 类 型 
必 填 ，Jira 的 链接 


可 选 ， 是 否 向 前 兼容 ， 原 则 上 不 允许 不 向 前 兼 
容 的 代码 


可 选 ， 危 险 程度 ， 一 般 只 适用 于 线 上 变更 项 目 


commit 7c027d40e2b616ba57f7c69f8162a6311461a566 


Author: 


Date: 


[ removed ] 
Fri Aug 28 10:14:28 2015 -0700 


Ensure setuptools is somewhat recent 


Due to bugs in older setuptools version parsing 


we need to set a relatively new version of setuptools 
so that parsing works better (and/or correctly). 


This seems especially important on 2.6 which due to 
a busted setuptools (and associated pkg_resources) seems 


to be matching against incorrect versions. 


Type: 


BF 


Jira: DEVOPS-453 
Change-Id: Ib859c7df955edefOf38c5673bd21a4767c781e4a 


e 提交 规范 


e 1. 提 交规 范 说 明 
o 1.1 Type 类 型 说 明 
o 1.2 Label 类 型 说 明 
o 1.3 格式 样 例 


正确 使 用 环境 


Environment 这 个 概念 是 比较 容 多 理解 的 ， 你 可 以 联想 到 开发 环境 ， 测 试 环境 ， 线 
上 环境 等 等 。 是 的 ，environment 的 目的 就 是 为 了 将 不 同类 型 的 host 分 组 。 我们 都 
知道 module 的 默认 路 径 是 放 在 /etc/puppet/modules。 假设 我 现在 要 开发 一 个 
puppet-apache 模 块 ， 和 线 上 环境 使 用 的 puppet-apache 模 块 代 码 不 一 样 ， 但 

是 /etc/puppet/modules 不 是 只 能 放 一 个 模块 吗 ? 因此 ， 每 个 environment 支 持 独立 
的 Puppet modules 和 main manifest (节点 定义 文件 ) 。 


假如 没有 environemnt， 而 同时 有 生产 ， 开 发 和 测试 环境 ， 每 套 环境 的 Puppet 代 码 
都 不 尽 相 同 ， 那 么 就 需要 搭建 3 台 用 于 不 同 环境 的 Puppet Master。 用 Puppet 
Environment 可 以 很 容 多 的 解决 这 个 问题 ， 使 用 Puppet Environment 可 以 建立 dev, 
production, test 三 套 环境 ， 并 且 每 套 环境 的 代码 都 可 以 不 同 。 这 样 就 可 以 用 一 
Puppet Master 管 理 多 个 集群 环境 。 


Directory Environments vs. Config File 
Environments 


使 用 过 2.x 或 者 更 早 版 本 的 同学 ， 应 该 了 解 或 使 用 过 Config file environemtns » 4 
前 ，Puppet 支 持 两 种 定义 环境 的 方式 : 


e Directory Environments 
e Config File Environments 


£% > Config File Env 这 种 需要 修改 配置 文件 的 方式 已 经 被 历史 的 潮流 抛弃 ， 
以 我 们 只 会 介绍 directory environment 。 


A M Directory Environment 


4& Puppet Master 2 Jf] Directory Environment ， 需 要 在 puppet.conf 中 定义 以 下 参 
d : 


environmentpath = /etc/puppet/environments 


此 参数 定义 了 一 个 目录 ， 此 目录 下 的 每 一 个 子 目 录 都 是 一 个 environment 。 


Environment H 3 75 44 


上 面 说 过 ， 使 用 directory environment 的 方式 ， 每 一 个 目录 都 是 一 个 环境 ， 这 个 目 
录 可 以 包含 环境 自身 的 配置 ， 模 块 和 节点 定义 。directory environment (下 面 会 使 
用 环境 目录 替代 ) 遵循 下 面 的 规律 : 


e 环境 目录 的 名 称 即 环境 名 称 ( 4038 A “config file environment 必 须 死 了 吧 。) 

e 环境 目录 必须 放 在 environmentpath 下 ， 上 默认 是 在 /etc/puppet/environements 下 

e 应 该 包含 一 个 modules 目 录 ， 属 于 该 环境 默认 的 module 路 径 

e 应 该 包含 一 个 manifests 目 录 ， 属 于 该 环境 默认 的 节点 定义 路 径 

e 可 以 包含 一 个 environment.conf 文 件 ， 用 于 自 定义 当前 环境 modulepath 和 
manifest 设 置 来 指定 此 环境 的 模块 查找 路 径 和 节点 定义 路 径 。， 比 如 说 test 和 
dev 两 个 环境 可 以 共用 一 个 manifest 目 录 。 


在 我 们 的 线 上 业务 中 ， 一 般 使 用 了 如 下 几 个 环境 : 


e dev 

e test 

e pre_production 
e production 


4 Agent %44 X Environment 


在 Puppet master 上 定义 了 多 套 环 境 之 后 ， 在 agent 段 需要 指定 本 机 使 用 的 环境 ， 
否则 就 会 使 用 默认 的 production 环境 。 在 puppet.conf 中 定义 environment 参数 来 指 
X agent 所 属 的 环境 ， 例 如 指定 agent Aliberty 环境 : 


[agent]environment = liberty 


e 正确 使 用 环境 
o Directory Environments vs. Config File Environments 
o J M Directory Environment 
o Environment 目录 结构 


o 在 Agent 端 指定 Environment 


转发 层 规范 


转发 层 (composition layer) 模块 实际 上 是 对 第 二 部 分 所 介绍 的 模块 的 调用 。 官方 
社区 曾经 有 一 个 转发 层 模 块 称 为 puppet-openstack， 在 Juno 版 本 时 被 标记 为 弃 用 。 
为 什么 社区 不 推荐 转发 层 模 块 呢 ? 因为 这 玩意 和 自家 业务 结合 得 非常 紧密 。 比 如 ， 
Fuel| 有 自己 的 转发 层 模 块 cluster,ctask 有 自己 的 转发 层 sunfire » 


那么 关于 它 的 最 佳 实践 是 什么 ? 


2016 年 1 月 份 ， 我 们 刚 完成 了 对 转发 层 sunfire 的 重 构 ， 岂 掉 了 许多 的 历史 包 裕 。 关 
于 转发 层 ， 我 们 有 以 下 几 点 原则 需要 严格 遵守 : 


逻辑 清晰 


概括 来 讲 就 是 在 转发 居中 ， 不 允许 出 现 对 resource 的 直接 调用 ， 所 有 转发 层 的 类 抑 
或 定义 ， 只 能 直接 调用 基础 模块 ，Openstack 模 块 中 的 类 或 定义 。 


打 个 不 是 非常 恰当 的 比方 : 


class sunfire: :api(){ 
# 这 块 代码 就 应 该 被 移 除 ， 使 用 include ::nova::clientx## 
package {'python-novaclient': 
ensure => present, 


} 
include ::nova 
include ::nova::api 


DAE To 37 8E S 


我 们 在 早期 使 用 Puppet 时 并 没有 使 用 到 Hiera， 因 此 转发 层 承 载 了 大 量 参数 的 默认 
值 设 置 。 这 样 做 的 好 处 是 ， 我 们 需要 使 用 到 的 参数 都 典 有 一 个 合理 默认 值 ， 但 是 坏 
处 是 数据 和 逻辑 没有 完全 分 离开 。 比如 说 ， 我 想 查 询 一 下 目前 线 上 集群 
$keystone_user_password 的 值 ， 可 能 是 在 转发 层 的 代码 中 ， 也 可 能 是 记录 在 
hieradata 中 。 另 外 一 个 不 好 的 地 方 就 是 代码 会 变 得 非常 元 余 。 


打 个 比方 : 


class sunfire: :api( 
$nova_db_password = 'nova', # 先 定义 一 个 参数 


) 
class {'nova::db::mysql': 
db password => $nova_db_password, :4&iX 446 25 GE S MA 0) X 


class sunfire: :api(){ 
include ::nova::db::mysql 


} 


f eim 
我 们 习惯 把 转发 层 中 的 每 个 class 称 之 为 角色 ， 这 样 比较 形象 ， 例 如 : 


e sunfire::api 表示 API 节 点 
e sunfire::mq 表示 MQ 节点 
e sunfire::loadbalancer::I7 表示 7 层 负载 均衡 


那么 API 角 色 中 ， 又 包含 了 nova/cinderneutron/glance/.. api,keystone 等 大 量 的 服 
务 。 同 时 我 们 又 要 满足 某 些 情况 下 ， 某 些 服务 不 启用 的 需求 。 例 如 ， 某 用 户 表示 ， 
他 们 不 需要 使 用 neutron server 而 启用 nova-network。 有 两 种 方式 来 满足 这 种 要 

P : 


e 在 sunfire::api 添 加 开关 : 


class sunfire: :api( 
$enable_neutron = true, 


) 


if $enable neutron ( 
include ::neutron::server 


e 在 main manifests x: fF P 5 A: 


'Xxx api node' ( 
include ::neutron::server 


j 


e 转发 层 规范 
o 逻辑 清晰 
o 数据 和 人 逻辑 分 离 
o fi & Ea 


代码 风格 


每 种 语言 都 会 有 自己 特定 的 风格 ， 每 个 人 也 会 会 有 自己 的 风格 ， 那 么 在 协作 的 项 目 
中 ， 我 们 就 需要 去 遵循 大 家 都 认可 的 规范 。 


熟悉 语法 和 风格 


在 提交 代码 到 代码 审查 系统 前 ， 请 在 本 地 开发 环境 使 用 Puppet-lint 工具 检查 一 
im o 


40 4] 45 12 F A (Deprecation) 
所 有 patch 必 须 保 持 向 后 兼容 (backward compatible) 


这 意味 着 : 


e 不 能 破坏 原 有 接口 (参数 弃 用 至 少 保持 一 个 周期 ， 并 要 添加 warning 信 息 ) 
e 不 能 改变 参数 的 默认 值 (除非 有 一 个 好 理由 ， 并 在 commit 消 息 里 解释 清楚 原 
因 ) 


代码 一 致 性 
目前 社区 维护 了 大 量 的 modules， 我 们 需要 保持 代码 的 一 致 性 ， 这 体现 在 使 用 统一 
风格 的 代码 和 注释 ， 每 个 独立 参数 选项 保持 唯一 。 例 如 ， 在 添加 新 参数 前 ， 请 查找 


是 否 在 其 他 类 或 者 模块 中 已 经 实现 ， 如 果 没 有 ， 则 保持 和 其 他 参数 相同 风格 的 方式 
添加 。 


文档 


e 确保 所 有 的 参数 都 添加 了 正确 的 文档 ，lint 会 检查 这 些 文档 是 否 被 添加 。 


e 尺 可 能 地 保持 examples.pp 文 件 更 新 
e 必须 情况 下 ， 为 你 的 代码 添加 注释 (temporary workarounds, TODO 等 ) 


e 代码 风格 
o 熟悉 语法 和 风格 
o 如 何 标记 弃 用 (Deprecation) 
o 代码 一 致 性 
o 空 值 的 参数 
o 文档 


Standalone vs C/S 模式 


Standalone( 单 机 模式 ) 


Puppet 可 以 很 容易 地 以 单机 模式 下 执行 配置 管理 的 工作 。 在 会 
在 本 地 编译 并 且 执 行 catalog， 无 需 和 Puppet Server 通 讯 ， 适 合 一 些 简 单 的 配置 管 
理 任 务 或 者 Puppetserver 节 点 的 自 部 署 工作 。 


puppet 命令 支持 多 种 使 用 方式 ， 可 以 在 终端 下 输入 : 


puppet -v apply test.pp 148 FR] Zr N 
puppet apply -e 'include ::ntp::server' # 执 行 一 段 puppet 代 码 
puppet apply --catalog catalog.json # 指 定 执行 一 个 catalog 文 件 
TET 2 sy Y 
Client/Server( 罕 户 端 /服务 器 端 模式 ) 


C/S 模 式 是 大 家 都 熟悉 的 运行 模式 。 在 这 种 模式 下 ，Puppet agent 端 被 部 署 在 了 被 
管理 的 服务 器 上 ，Puppet master(server) 端 部 署 在 管理 服务 器 上 。 


TODO : C/S 流 程 图 
如 何 选 择 
脱离 业务 场景 去 谈 误 优 就 劣 都 是 不 合 时 宜 的 。 


适合 单机 模式 的 场景 


如 果 是 个 人 开发 环境 的 配置 管理 ， 少 数 服 务 器 的 配置 管理 ， 以 及 业务 逻辑 比较 简单 
的 情况 下 ， 推 荐 使 用 单机 模式 ， 简 单方 便 。 


适合 C/S 模 式 的 场景 


在 涉及 正式 线 上 环境 的 情况 下 ， 我 们 推荐 是 C/S 模 式 。 优 势 非常 明显 : 


1. 安全 管理 和 权限 控制 


配置 管理 代码 中 其 实 包含 了 大 量 的 敏感 信息 ， 其 一 旦 发 生 泄漏 或 者 权限 被 越界 ， 就 
发 导致 严重 的 安全 问题 。 


在 单机 模式 下 ， 每 台 服 务 器 都 会 拿 到 完整 的 puppet 代 码 和 hiera 数 据 ， 试 想 一 台 
Apache 服 务 器 上 放 着 MySQL 服 的 配置 管理 代码 和 管理 员 用 户 名 密码 是 何其 危 
险 的 事情 ! 


另外 ， 在 CS 模式 下 ，agent 端 和 server 端 通过 SSL 进 行 通信 ， 并 且 可 以 根据 节点 的 
FQDN 做 细 粒 度 的 控制 ， 试 想 一 台 伪 造 自己 是 数据 库 服 务 器 的 节点 ， 在 向 服务 器 端 
请 求 就 轻而易举 地 拿 到 了 数据 库 节 点 的 catalog 也 是 非常 危险 的 事情 。 


2. 支 持 高 级 特性 


在 C/S 模 式 下 ， 通 过 开启 storeconfigs 参 数 ， 配 合 PuppetDB， 可 以 使 用 Puppet 中 诸 
i 高 级 特性 。 


3. 集 中 式 管理 


在 单机 模式 下 ， 若 要 批量 执行 puppet 配 置 管理 任务 ， 一 般 选 择 使 用 集群 管理 工具 例 
如 clustershell 等 做 批量 的 变更 操作 。 在 C/S 模 式 下 ，agent 既 可 以 定期 地 从 server 端 
获取 最 新 的 catalog， 也 可 以 由 Server 端 主动 地 发 送 更 新 指令 。 此 外 ， 在 C/S 模 式 
下 ，agent 端 在 完成 配置 应 用 的 任务 后 ， 可 以 发 送 report 给 Server 端 或 者 其 他 服务 


ya, 
o 
aa 


e Standalone vs C/S 模式 
o Standalone( 单 机 模式 ) 
o Client/Server( 客 户 端 /服务 器 端 模式 ) 
o 如 何 选择 ? 
m 适合 单机 模式 的 场景 
a 适合 CS 模式 的 场景 


Puppet 版 本 的 选择 


TODO: Version pic 


Puppet 2.x 


目前 Puppet 2.x 的 最 新 版 本 是 2.7.x。 除 非 是 遗留 系统 保留 大 量 的 第 三 方 模块 ， 无 法 
升级 到 其 他 版 本 ， 否 则 我 们 极力 推荐 读者 从 2.x 升 级 到 3.x 版 本 。 


Puppet 3.x 


Puppet 3.x 的 最 新 版 本 是 3.8.7。 相 比 2.x， 其 catalog 的 编译 速度 提升 了 50%， 并 且 
也 包含 了 4.x 里 的 新 增 特性 (通过 额外 配置 开启 ) 。 如 不 是 特殊 原因 ， 我 们 推荐 读者 
从 3.Xx 升 级 到 4.x 版 本 。 


Puppet 4.x 
在 2016 年 9 月 22 日 ，Puppet 已 发 布 了 4.7.0 版 本 ， 之 前 我 们 曾 建 议 读者 谨 懂 使 用 
4.X， 但 时 至 今日 ， 我 们 推荐 直接 使 用 4.X 版 本 。 
目前 PuppetOpenstack 社 区 已 经 放弃 对 Puppet3 的 支持 
(https://review.openstack.org/#/c/383739/) ° 
因此 ， 我 们 的 建议 是 : 
e. 如 果 您 正在 使 用 Puppet3， 请 说 悍 升 级 到 Puppet4 。 
e 如 果 你 正在 计划 使 用 Puppet， 直 接 使 用 Puppet4。 
我 们 会 在 下 一 节 去 详细 介绍 Puppet 4.X 的 显著 变化 。 


e Puppet 版 本 的 选择 
o Puppet 2.x 
o Puppet 3.x 
o Puppet 4.x 


深入 理解 OpenStack 自 动 化 部 署 


Puppet4 新 特性 和 变化 


1. 激动 人 心 的 改进 
o 速度 ， 速 度 ， 还 是 速度 
o 稳定 性 和 重 棒 性 的 提升 
o 全 新 的 Parser 
2.“ 不 变 " 的 agent 
3. 不 兼容 的 改动 
o 包 管 理 方式 的 变化 
o 配置 文件 /目录 的 路 径 变 化 
o 其 他 路 径 变 化 
o Directory Environment 正式 局 用 
o 不 再 使 用 Ruby1.8.7 
o 下 一 代 Puppet 语 言 的 改动 
o Puppet Kick 等 将 被 移 除 
o HTTP API 的 变化 
o puppet doc 和 tagmail 被 移 除 
o Resource Type/Providers 的 变化 
o 内 部 API 和 实现 的 变化 
4. 被 废弃 的 特性 
5. 主要 配置 参数 
o Agenta 
m 基础 参数 
m 运行 相关 
m 服务 相关 
o Server 
m 主要 参数 
m Server 其 他 配置 
6. 总 结 和 建议 
7 " 


激动 人 心 的 改进 


Puppet4 的 新 特性 和 变化 


Puppet4 的 第 一 个 正式 版 本 于 2015 年 4 月 15 日 发 布 ， 截 止 到 2016 年 9 月 22 日 ， 
Puppet 已 正式 发 布 了 4.7.0 版 本 。 


Puppet4 与 3.x 版 本 相 比 有 两 点 不 同 : 很 多 的 变化 ， 很 大 的 变化 。 毫 不 压 张 地 说 
Puppet4 是 一 个 全 新 的 项 目 | 


RE’ RR’ TRA 


Puppet4 使 用 函数 式 编程 语言 Clojure 对 Puppet Master fr 7 € 5 > € 司 
并 为 此 新 建 了 一 个 项 目 :puppetserver。 此 外 ，PuppetDB 也 使 用 Clojure 进 行 了 重 
写 。 


如 此 脱胎 换 骨 的 变化 ， 最 主要 的 目的 是 为 了 提升 性 能 ， 官 方 给 出 的 数据 是 : 
相 比 Puppet3，Puppet4 有 2~3 们 的 性 能 提升 。 


这 是 一 个 非常 吸引 人 的 提升 ! 要 知道 从 Puppet2 到 Puppet3 所 带 来 约 50% 的 性 能 提 
升 ， 就 让 我 们 感动 不 已 了 |! 


在 以 往 的 实际 生产 中 ， 我 们 遇 到 过 多 次 来 自 于 master 端 的 性 能 ， 在 一 个 数 千 台 
规模 有 近 百 个 Openstack 集 群 规模 的 环境 中 ， 我 们 使 用 了 多 ea 拟 服务 器 来 作 
为 puppet master 节 点， 管理 着 大 量 的 服务 ， 一 旦 遇 到 高 并 发 的 编排 任务 时 ， 
master 端 的 CPU 几乎 处 于 100% 的 状态 ， 超 时 时 间 设 置 为 120 秒 的 情况 下 ， 仍 然 会 出 
现 不 少 由 于 编译 catalog 超 时 而 导致 agent 报 错 的 情况 。 即 使 我 们 通过 改进 代码 ， 水 
平 扩展 ， 组 件 拆 分 ， 参 数 调 优 ， 更 换 硬 件 等 多 种 组 合 办 法 ， 但 是 受 Puppet 本 身 的 语 
言 性 能 瓶颈 ， 对 于 Puppetmaster 的 性 能 我 们 并 不 满意 。 而 Puppet4 从 根本 上 改进 了 
性 能 问题 。 


PuppetDB 也 是 主要 瓶颈 之 一 ， 像 resource export,virtual resource 等 高 级 特性 ， 以 
及 facts,catalog 的 缓存 都 et ) a ， 虽 然 这 些 高 级 特性 很 炫 酷 而 且 也 很 实 
用 ， 但 是 非常 非常 消耗 资源 。 得 我 们 在 过 去 非常 地 谨 懂 其 至 刻意 去 削减 像 
Puppet 高 级 特性 的 使 用 ， en de 禁止 提交 含有 这 些 高 级 特性 
的 代码 的 原因 之 一 〈 另 一 个 原因 是 有 些 高 级 特性 无 法 再 单机 模式 下 使 用 ) 。 


和 定性 和 兽 棒 性 的 提升 
此 外 ，Puppet4 一 开始 就 拥有 面向 服务 的 架构 : 


e 由 于 Clojure 语 言 的 天 生 优 势 ， 拥 有 良好 的 并 发 和 互 斥 控制 能 力 ， 而 且 可 以 使 用 


@ % Java Library， 是 作为 后 端 服务 开发 的 理想 选择 。 
e Puppetlabs 公 司 开发 了 一 个 Clojure 框 架 Trapperkeeperframework : 为 了 支撑 
长 期 运行 的 应 用 和 服务 而 生 ， 从 而 保证 Puppet 服 务 的 稳定 性 和 鲁 棒 性 。 


全 新 的 Parser 


e 新 的 Parser 支 持 lambdas 和 iteraion ! 再 也 不 用 使 用 tricky 的 creates_resources 
函数 了 : 


$a = [1,2,3] each($a) |$value| { notice $value } 


e 全 新 的 parser 还 直接 支持 数据 类 型 检查 ， 再 也 不 用 stdlib 里 的 validate_string 等 
函数 了 : 


class ntp ( 
Boolean $service_manage = true, 


Boolean $autoupdate = false, 
String $package_ensure = 'present', 
Hae 
DE 
Ho. 
} 


© 另外 一 个 亮点 是 直接 支持 插值 式 函 数 调用 : 


notice "This is a random number: ${fqdn_rand( 30) } 


e 支持 链 式 赋 值 ， 代 码 可 以 变 得 更 简洁 了 : 


除了 以 上 几 点 ， 还 有 其 他 诸多 特性 ， 受 篇 幅 限制 ， 不 再 一 一 举例 。 


“不 变 ” 的 agent 


目前 ，puppet-agent 仍 然 使 用 Ruby 来 维护 。 不 过 JVM 可 以 支持 Ruby 的 Java 版 本 : 
JRuby。 因 此 在 未 来 ，puppet-agent 不 排除 可 能 会 从 JRuby 过 渡 到 Clojure ° 


不 兼容 的 改动 


Puppet4 既 然 做 了 重 写 ， 因 此 有 大 量 与 Puppet3 不 兼容 的 变化 。 这 些 细节 对 于 
Puppet3 用 户 来 说 是 最 关心 的 地 方 。 


包 管 理 方 式 的 变化 


过 去 ， 我 们 需要 在 服务 器 上 单独 安装 Puppet,FacterHiera,Mcollective 等 多 个 组 件 才 
能 获得 相应 的 功能 和 特性 。 


在 Puppet4 中 ， 安 装 Puppet 不 再 需要 安装 多 个 软件 包 ， 而 是 采用 AIO(All-in-One) 的 
方式 来 简化 软件 包 的 管理 ， 例 如 puppet-agent 中 包含 以 下 组 件 : 


e Facter 3.4.x 
e CFacter 0.4 
e Hiera 1.3.x 
e Mcollective 2.9.x 
e Ruby 2.1.5 
e OpenSSL 1.0.0r 


Puppetlabs 将 这 种 AlIO 的 包 管 理 方式 称 之 为 Puppet Collections(PC)， 每 个 PC 其 实 
对 应 着 一 个 软件 仓库 (repo)， 为 用 户 提供 了 FacterRuby/Puppet 等 组 件 的 匹配 矩 
阵 。 下 表 给 出 了 PC 中 主要 软件 包 中 整合 的 组 件 。 


软件 包 名 包含 组 件 


puppet -agent Puppet, Facter, Hiera, MCollective, pxp-agent, root 
certificates, Ruby, Augeas 

puppetserver Puppet Server > 4K #i puppet-agent 

puppetdb PuppetDB 


puppetdb - 
termini 


PuppetServer4 PuppetDB X 2 & Plugin 
要 在 服务 器 上 启用 新 版 本 的 Puppet4， 只 需要 执行 一 行 简单 的 命令 : 


e 在 基于 RPM 的 系统 下 使 用 以 下 命令 : 


yum localinstall http://yum.puppetlabs.com/puppetlabs-release-f 
‘| — B 








。 在 基于 Deb 的 系统 下 使 用 以 下 命令 


# curl -0 http://apt.puppetlabs.com/puppetlabs-release-pci-whee 
‘ — 








这 种 集中 式 的 软件 仓库 管理 方式 ， 用 户 可 以 移 除 过 去 puppetlabs-release 中 的 
a > dependencies > devel & £ *@& » 


注意 puppet-agent 不 会 自动 升级 老 版 本 的 puppet 软件 包 ( 建 议 使 用 deb 或 rpm 
来 管理 软件 包 的 升级 ) 


置 文件 /目录 的 路 径 变 1 


. 软件 包 的 安装 目录 变更 为 /opt/puppetlabs 

.可 执行 文件 已 移动 到 /opt/puppetlabs/bin 

confdir 从 /etc/puppet/ 变 为 /etc/puppetlabs/puppet 
ssldir 从 $vardir/ssl 变 为 $confdir/ssl 

. puppetserver 的 配置 文件 放置 在 /etc/puppetlabs/puppetserver 
. mcollective 的 配置 文件 放置 在 /etc/puppetlabs/mcollective 

.所 有 的 module/manifest/data 从 confdir 移 到 codedir 

o codedir 默认 路 径 是 /etc/puppetlabs/code 


NOOR WODND 一 


o 包含 environments 目录 

o 包含 全 局 的 modules 目录 (TŻ) 
hiera.yaml 配 置 文件 
hieradata 目录 


o 


包含 
o 包含 


其 他 路 径 变 化 


e puppet agent 的 vardir 已 经 移动 到 /opt/puppetlabs/puppet/cache 
e rundir 已 经 移动 到 /var/run/puppetlabs 


Directory Environment 正式 司 用 


过 去 多 年 的 Config File Environment 将 被 正式 移 除 。 默 认 的 environmentpath 


是 $codedir/environments ° 
以 新 建 一 个 production 环境 为 例 : 


e 将 modules 放 置 到 $codedir/environments/production/modules 
e main manifest 放 置 到 $codedir/environments/production/manifests 


你 仍然 可 以 使 用 $codedir/modules 作为 全 局 modules， 并 
用 default_manifest 设置 来 配置 一 个 全 局 的 main manifest 。 


不 再 使 用 Ruby1.8.7 


由 于 使 用 了 AIO 的 包 管 理 方式 ，Puppet 不 再 使 用 系统 自 带 的 Ruby 解 释 器 ， 将 直接 使 
用 Ruby 2.1.5 版 本 。 


下 一 代 Puppet 语 言 的 改动 


重点 来 了 ，Puppet4 最 重要 的 变化 是 重 写 了 parser 和 evaluator， 在 Puppet 3.x 中 可 
以 通过 在 puppet 配 置 文件 中 开启 Future Parser 来 使 用 ， 在 Puppet4 中 该 parser 
已 经 成 为 ?present parser*， 那 么 过 去 的 parser 正 式 退 出 舞台 。 


新 parser 包 含 了 迭代， 变量 类 型 检查 等 诸多 新 特性 。 并 且 ， 新 parser 对 于 数值 ， 空 
字符 串 和 'udenf/ni 比 较 提 供 更 好 的 检查 机 制 。 


除了 核心 模块 的 变动 以 外 ， 还 有 一 些 炫 酷 的 特性 。 


e 在 PuppetMaster 加 载 新 的 Puppet 代 码 不 再 需要 重启 server 服 务 

e EPP(Embeded Puppet) 将 支持 直接 使 用 Puppet 来 编写 inline 和 基于 文件 模 ， 不 
再 需要 使 用 ERB， 避免 用 户 在 Puppet 和 Ruby 之 间 来 回 切 换 。 

e 支持 使 用 Puppet 来 编写 functions » 


Puppet Kick 等 将 被 移 除 


所 有 的 项 目 在 历史 发 展 过 程 中 ， 都 会 有 很 多 的 妥协 和 不 良 设 计 ，Puppet 项 目 从 2 到 3 
很 多 昌 有 的 特性 只 是 被 标记 为 废弃 ， 并 没有 从 代码 库 中 移 除 ， 借 助 Puppet4 版 本 的 
重 构 ， 大 约 60000 行 "technical debt" 类 型 的 代码 被 移 除 。 较为 熟知 的 有 以 下 : 


e puppet kick 命令 


e inventory 服务 

e couchDB facts terminus 

e ActiveRecord stored config 
e puppet.conf? master section 


HTTP API 的 变化 


Puppet4 中 的 另 一 个 重要 变化 是 master 和 agent 通 讯 的 URLs 发 生 了 变化 。 因 此 
Puppet3 的 agent 将 无 法 和 Puppet4 的 server 端 通信 。 例 如 : 


e #Puppet3 ¥ urlz"http://localhost:8140/production/node/foo" 
e #Puppet4 url È X F "http://localhost:8140/puppet/v3/node/foo? 
environment-production" » 


puppet doc 和 tagmail 被 移 除 


由 于 puppet doc 命令 依赖 RDoc， 而 RDoc 与 最 新 版 本 的 ruby 不 兼容 ， 因 此 在 
Puppet4 代 码 中 被 移 除 ， 如 果 要 继续 使 用 ， 可 以 通过 puppetlabs-strings 模 块 来 提供 
类 似 的 功能 。 


同 理 ， tagmail 被 移 除 ， 可 以 通过 puppetlabs-tagmail 模 块 来 找到 它 。 


Resource Type/Providers 的 变化 
这 里 举 几 个 重要 的 变化 : 


` 


e 在 Puppet3 中 ， 若 用 户 没 有 设置 allow virtual 属 性， 会 有 废弃 的 警告 信息 ， 在 
Puppet4 中 该 警告 会 被 移 除 ，allow_vritual 默 认 会 从 false 变 为 true。 


内 部 API 和 实现 的 变化 


这 些 变化 只 会 影响 到 Puppet 内 部 ruby 方 法 和 库 的 调用 接口 ， 对 终端 用 户 的 使 用 没有 


被 废弃 的 特性 


Rack 和 WEBrick Web 服 务 器 被 废弃 


Rack 和 WEBrick Web 服 务 器 过 去 常用 于 开发 和 简单 验证 ， 目 前 已 在 Puppet 4.1 中 标 
记 为 弃 用 ， 计 划 在 5.0 中 移 除 。 


um 
ws 


主要 配置 参数 


Puppet4 有 多 达 200 个 配置 参数 ， 不 过 用 户 需 要 关心 的 参数 大 约 为 30 个 。 这 里 我 们 
只 是 简单 介绍 puppet.conf 中 的 主要 参数 。 


Agent% 


基础 参数 


e server : Puppet Master 的 地 址 ， 默 认 值 是 puppet 

o ca server : Puppet CA 的 地 址 ， 仅 在 多 master 模 式 使 用 

o report_server : Puppet report server 的 地 址 ， 仅 在 多 master 模 式 使 用 
e certname : node 的 证 书 名 称 ， 默 认 使 用 FQDN 
e environment : agent 向 master 端 请 求 的 environment。 默 认 


是 prodcution 。 


e noop :agent 仅 在 模拟 运行 并 输出 运行 结果 

e nice :指定 agent 运 行 的 nice 值 ， 防 止 agent 在 应 用 catalog 时 占用 过 多 的 CPU 

e report :是 否 发 生 report， 默 认为 true » 

e tags : 限制 Puppet 只 运行 含有 指定 tags 的 resources。 

e trace , profile , graph , show diff : 用 于 debug agent 运 行 结果 

e usecacheonfailure :在 master 端 无 法 返回 一 个 正确 的 catalog 时 ， 是 否 回 退 
执行 上 一 个 正确 的 catalog。 默 认 是 true， 如 果 是 开发 环境 ， 建 议 修 改 为 false 。 

e prerun_command 和 postrun command : 在 Puppet 执 行 前 后 运行 的 命令 ， 
若 返 回 值 非 0， 则 Puppet 执 行 失 败 。 


服务 相关 


e runinterval : Puppet 的 运行 间隔 
e waitforcert : Puppet 请 求证 书签 名 的 频率 。 当 agent 端 第 一 次 启动 时 ， 
agent 会 提交 一 个 CSRI(certificate signing request) 到 ca server， 该 证 书 可 能 是 
自动 签名 (autosign)， 或 者 需要 人 工 批准 ， 而 这 段 时 间 无 法 预 估 ， 因 此 需要 设 
置 一 个 时 间 段 ， 默 认 是 2m。 

splay 和 splaylimit :为 每 次 Agent 的 定时 执行 添加 一 个 随机 数 时 间 ， 用 
于 避免 惊 群 效应 的 发 生 。 

daemonize :是 否 以 进程 方式 运行 ， 配 合 cron 使 用 时 ， 应 设置 为 false。 
e onetime : 是 否 执行 完成 后 退出 ， 配 合 cron 使 用 时 ， 应 设置 为 true。 


Server 


多 数 参 数 对 于 单机 模 用 。 在 CS 模式 下 ， 这 些 参数 应 该 放置 
在 [master] 下 ; 在 单机 模式 下 ， Punt eee 


主要 参数 


e dns alt names : Puppet Master 可 以 使 用 的 DNS 主机 名 列表 (alt 表 示 a list) ° 
agent 用 到 的 server 参数 值 必 须 和 此 参数 或 者 Server 端 的 certname 匹配 。 


o 注 :该 参数 仅 适 用 于 初始 化 生成 Puppet master 证 书 阶段 。 
e environment timeout : master 从 environment 加 载 数据 的 缓存 时 长 。 设 置 为 
0， 基 用 缓存 ， 为 了 更 好 的 性 能 ， 可 以 将 其 设置 为 unlimited ， 直 到 下 次 重 
局 master 才 会 重新 加 载 environment 配 置 。 


e enviromentpath :environment 的 查找 路 径 ， 默认 
fi: $codedir/environments 
basemodulepath : 所 有 环境 的 模块 路 径 ， 会 被 所 有 的 环境 使 用 ， 上 默认 值 是 : 
$codedir/modules:/opt/puppetlabs/puppet/modules 
e reports : 选择 处 理 report 的 hander, 上 默认 值 是 store ° 


Server 其 他 配置 


pupept server 除 了 puppet.conf 之 外 ， 还 有 拥有 其 他 的 配置 文件 ， 其 默认 的 配置 
文件 路 径 是 : /etc/puppetlabs/puppetserver/conf.d 。 这 些 配 置 文件 使 用 
HOCON 格 式 ， 可 以 在 保留 JSON 语 义 格式 的 前 提 下 ， 提 高 可 读 性 。 在 conf.d 目 录 下 
包含 以 下 配置 文件 : 


e global.conf 

e webserver.conf 

e web-routes.conf 

e puppetserver.conf 

e auth.conf 

e master.conf (deprecated) 
e ca.conf (deprecated) 


例如 ， 常 见 的 几 个 参数 配置 有 以 下 : 


e puppet-admin : 授权 可 以 访问 admin 接 口 的 client 
e jruby-puppet : 调 优 JRuby 时 提供 更 多 细节 信息 
e JAVA ARGS : 设置 Puppet Server 的 内 存 分 配 。 


总 结 和 建议 


相 比 Puppet2 到 Puppet3 的 版 本 升级 ，Puppet4 不 仅 是 纯粹 的 新 功能 和 性 能 提升 ， 更 
像 是 对 Puppet 的 全 新 重 构 ， 据 弃 了 过 去 留 下 来 的 历史 负担 和 诉 病 。 但 是 ，Puppet4 
所 带 来 的 不 兼容 性 ， 导 致 对 于 Puppet3 用 户 ， 尤 其 是 Puppet 3.3 版 本 之 前 的 用 户 ， 
若 想 要 把 线 上 的 业务 代码 升级 到 Puppet4， 需 要 花费 不 少 的 精力 。 


分 享 我 们 的 升级 经 验 : 约 在 16 年 初 ， 我 们 将 线 上 的 Puppet 版 本 从 3.3 升 级 到 了 3.7， 
并 提前 使 用 了 future parser 特 性 (Puppet4 中 的 parser) 。16 年 9 月 ， 我 们 使 用 了 半 
周 时 间 完 成 了 对 Puppet4 升 级 调研 并 给 出 调研 报告 ， 在 Jira 上 列 出 计划 和 任务 分 工 ， 
实际 使 用 了 一 周 时 间 完 成 了 96 Puppet Module 代 码 更 新 和 测试 ， 并 在 生产 环境 上 


因此 我 们 的 建议 是 : 即使 Puppet4 令 人 激动 人 心 ， 但 配置 管理 系统 的 升级 一 定 要 说 
惯 对 待 ， 提 前 做 好 计划 和 回 滚 方案 ， 充 分 测试 ， 分 步骤 操作 。 
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Puppet 的 能 与 不 能 


Openstack 云 平台 是 一 个 复杂 的 软件 栈 ， 涉 及 到 大 量 的 配置 ， 服 务 ， 软 件 包 等 等 多 
种 系统 资源 的 管理 ， 人 工 管 理 的 方式 必然 带 来 最 终 不 可 维护 ， 人 工 失误 等 诸多 问 
题 。 因 此 ， 我 们 需要 使 用 一 套 统一 框架 解决 配置 管理 上 的 问题 。 我 们 在 过 去 发 现 了 
一 点 就 是 ， 工 程 师 们 通常 喜欢 在 一 个 系统 /工具 上 去 套 所 有 的 应 用 场景 。 


首先 ， 我 们 要 明白 任何 一 个 工具 /语言 /系统 都 不 是 万 能 的 。 我 们 在 使 用 一 个 工具 / 语 
言 /系统 前 ， 必 须 深刻 理解 它 的 能 力 和 局 限 。 我 们 既然 选择 了 Puppet 作 为 配置 管理 
系统 ， 就 应 知道 它 能 做 什么 ， 不 能 做 什么 。 


什么 场景 下 选择 使 用 Puppet? 


Puppet 适 合用 于 以 下 场景 : 


e network,host,dns 等 文件 的 配置 管理 

e ssh,ntp,nscd 等 服务 的 状态 管理 

e MySQL,Apache,RabbitMQ 等 软件 的 包 管理 

e Openstack 软 件 的 包 安 装 ， 配 置 文件 管理 以 及 服务 状态 的 管理 

Puppet 原 生 resource type， 如 ssh,host 等 

e Puppet 第 三 方 模块 中 的 扩展 resource， 如 keystone_user,mysql_database 等 


什么 场景 下 不 选择 使 用 Puppet? 


Puppet 不 适合 使 用 以 下 场景 : 
e 源码 文件 管理 


有 人 可 能 会 使 用 file resource 来 管理 一 些 项 目的 脚本 ， 比 如 zabbix 的 plugin 
scripts， 这 些 代码 文件 通常 作为 静态 文件 放置 在 files/ 目 录 下 ， 在 agent 应 用 
catalog 的 阶段 ， 从 puppetserver 下 载 到 各 个 服务 器 上 。 这 样 做 有 好 多 缺点 : 


o 首先 , 每 次 代码 文件 的 更 新 必须 要 更 新 相应 模块 ， 业 务 代码 和 部 署 代 码 完 
全 耦合 。 

o 其 次 ， 所 有 线 上 业务 没 统 一 的 代码 管理 方式 ， 在 我 们 内 部 ， 所 有 项 目 必 须 
使 用 RPM 包 的 方式 进行 统一 管理 


后 ， 每 次 执行 Puppet Agent 都 会 对 每 个 文件 单独 计算 hash 值 ， 并 在 服务 

端 做 hash 值 比较 ， 且 会 把 昌文 件 备份 到 备份 文件 目录 下 ， 此 操作 会 消耗 
客观 的 CPU 和 IO 资源。 

e 软件 包 的 依赖 管理 


o 
A 


例如 在 计算 节点 上 ，nova-compute 依 赖 bridge-utils 包 ， 有 些 工 程 师 喜 欢 在 
nova::compute 里 去 添加 一 个 package 资源 来 确保 在 计算 节点 上 安装 此 包 

确 的 做 法 是 在 nova 的 spec 文 件 里 ， 对 openstack- We A 条 
包 依 赖 关系 。 我 们 应 该 明确 包 的 依赖 管理 应 该 交 给 软件 包 管理 工具 去 做 。 


e 二 进 制 文件 的 管理 


我 们 可 能 会 为 一 个 业务 系统 添加 一 下 方便 管理 ， 查询， 统计 或 者 清理 的 脚本 ， 
一 些 工程 师 的 做 法 是 将 这 些 二 进 制 可 执行 文件 也 丢 到 了 puppet module 的 file/ 目 
录 下 ， 随 着 项 目的 发 展会 出 现 大 量 的 二 进 制 文件 ， 那 么 它们 的 归宿 ， 要 么 放 到 
该 项 目的 tools 目 录 ， 或 者 单独 作为 一 个 项 目 存 在 ， 例 如 openstack tools。 


e 服务 的 初始 化 操作 


Puppet 中 有 个 exec 资源 ， 有 些 工程 师 拿 它 来 写 非常 复杂 的 bash 脚 本 。 这 就 
类 似 使 用 Python 的 subprocess 去 写 非 常 复杂 的 bash 脚 本 一 样 ， 实 现 方式 非常 于 
陋 ， 而且 低 效 。 例 如 Nova 服 务 的 db sync 操作 ， 复 杂 的 实现 逻辑 已 经 封装 到 
了 Python 脚 本 中 ，Puppet 只 是 通过 exec{'nova-db-sync'} 去 调用 nova-manage 
db sync Cli 接口 。 


因此 在 遇 到 业务 逻辑 非常 复杂 或 者 代价 太 大 就 应 该 交 给 项 目 去 实现 ， 对 外 提供 
操作 简单 的 接口 ， 然 后 交 给 Puppet 去 调用 ， 而 不 是 由 Puppet 去 实现 。 


exec { 'nova-db-sync': 
command => "/usr/bin/nova-manage ${extra_params} db sync", 
refreshonly => true, 
logoutput => on_failure 


e. 服务 状态 的 监控 和 恢复 


有 些 工程 师 认 为 可 以 把 Puppet 的 runinterval 改 成 60s， 这 样 就 可 以 使 用 Puppet 
做 频繁 的 状态 收敛 来 确保 服务 一 直 是 处 于 运行 状态 ， 虽 然 在 一 定 程 度 上 ， 可 以 
确保 服务 的 运行 状态 ， 但 这 里 有 两 个 问题 : 


o Puppet 既 不 是 监控 系统 也 不 是 专业 的 服务 状态 管理 ，60s 的 执行 间隔 对 于 
服务 来 说 ， 简 直 是 太 长 了 

o Server 端 每 次 编译 catalog 会 消耗 大 量 资源 ， 在 集群 数量 增长 或 者 Puppet 代 
码 逻 辑 复杂 度 提 高 后 ， 你 将 会 发 现 catalog 的 编译 时 间 都 已 经 超过 了 60s 的 
执行 间隔 。 


e 角色 间或 节点 间 的 依赖 管理 处 理 


Puppet 本 身 没有 编排 能 力 ， 只 能 处 理 同 个 节点 内 类 之 间或 者 服务 之 间 的 依赖 关 
系 ， 这 是 Puppet 最 大 的 硬 伤 。 因 此 ，Puppet 公 司 后 来 就 收购 了 Mcollective 来 弥 
补 编排 的 短 板 。 我 们 这 里 推荐 使 用 Ansible 来 做 集群 编排 ，Ansible 作 为 后 起 之 
秀 ， 提 供 了 基于 YAML 格 式 的 配置 管理 和 编排 能 力 。 


e Puppet 的 能 与 不 能 
o 什么 场景 下 选择 使 用 Puppet? 
o 什么 场景 下 不 选择 使 用 Puppet? 


其 他 部 署 工 具 


在 前 面 的 章节 中 ， 我 们 介绍 了 如 何 使 用 PuppetOpenstack 项 目 来 完成 Openstack 的 
自动 化 部 署 ， 但 是 PuppetOpenstack 只 是 部 署 模块 ， 并 不 具备 编排 功能 ， 没 有 GUI 
界面 ， 没 有 CLI 工 具 ， 因 为 我 们 也 要 关注 社区 deployment 相 关 工 具 的 发 展 。 在 本 
章 ， 将 介绍 当前 社区 的 主流 部 署 工具 和 产品 ， 并 介绍 其 适用 场景 。 


首先 介绍 当前 产品 成 熟 度 最 高 的 Fuel， 然 后 是 后 起 之 秀 Kolla， 接 着 是 老牌 
Packstack 和 TripleO， 最 后 是 Openstack-Ansible(OSA)， 以 及 DevStack。 


那么 在 最 后 一 节 ， 我 们 会 介绍 如 何 去 亲 手 设计 和 定制 一 个 满足 企业 或 客户 需求 的 部 
署 工具 。 


e 其 他 部 署 工 具 


Fuel 


What is Fuel? 


Fuel 是 由 Mirantis 公司 开发 的 一 个 开源 的 OpenStack 部 署 和 管理 工具 ， 也 是 最 为 
流行 和 易 用 的 OpenStack 部 署 管理 工具 。Mirantis 使 用 Fuel 来 快速 的 给 客户 交付 
一 套 生产 可 用 的 OpenStack。Fuel 使 用 了 Puppet/Cobbler/Mcollective 等 开源 工 
具 ， 同 时 使 用 Python/Ruby 开发 了 部 分 自 有 服务 ，Fuel 的 最 大 特点 是 它 能 提供 
Web 界面 用 于 安装 部 署 和 管理 OpenStack， 除 此 之 外 它 还 有 如 下 特点 : 


硬件 的 自动 发 现 

通过 WebUl 对 硬件 进行 配置 ， 如 网 络 配置 ， 磁 盘 分 区 配置 
可 以 管理 多 个 OpenStack 集群 

完善 的 HA 架构 支持 

部 署 前 的 检查 和 网 络 连通 性 验证 

部 署 后 的 集群 健康 性 检查 


Online demo 


如 果 想 快速 的 体验 Fuel， 可 以 去 http://demo.fuel-infra.org:8000/ 体验 Fuel 的 
demo 版 本 。 


Fuel 末 构 


Fuel 的 架构 包含 : 


e Fuel Master Node, 安装 了 Fuel 的 服务 器 ， 用 于 完成 Provisioning, 


Configuration 以 及 Fuel Slave 的 PXE booting 等 功能 。 


e Fuel Slave Node,Fuel Slave Node 就 是 用 于 部 署 控制 ， 计 算 ， 存 储 服务 的 服 
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Fuel 内 部 由 众多 组 件 组 成 ， 其 中 一 些 是 Fuel 自 研发 的 (Nailgun, OSTF, Astute) > — 
些 是 第 三 方 的 开源 组 件 (Puppet, Cobbler MCollective) 。 


e Fuel 的 Ul 是 一 个 单 页 应 用 (JS) 。 

e Nailgun 是 Fuel 的 核心 组 件 ， 使 用 Python 开发 ， 它 对 外 提供 REST API * € 
的 主要 功能 是 管理 和 保存 配置 数据 ， 并 处 理 部 署 的 编排 逻辑 。 它 通过 数据 库 来 
保存 配置 数据 ， 通 过 AMQP 来 下 发 指令 。 

e Astute 相当 于 Nailgun 的 worker， 它 接收 Nailgun 下 发 的 指令 ， 并 完成 对 应 

的 工作 ， 它 主要 的 工作 主要 是 与 Cobbler/Puppet 等 进行 交互 ， 使 得 这 些 服务 

对 外 提供 一 个 抽象 的 异步 接口 。 它 通过 XML-RPC 来 对 Cobller 进行 管理 和 调 

用 ， 通 过 MCollective 来 进行 在 节点 上 运行 Puppet 或 者 执行 脚本 。Astute 与 

Nailgun 之 问 通过 AMQP 来 进行 数据 通信 。 

Cobbler 提供 provisioning 服务 ，Fuel 正在 测试 使 用 Ironic 来 替换 

Cobbler (POC 阶段 ) 

Puppet 提供 软件 的 部 署 服务 。 

Mcollective Agent 用 于 执行 脚本 ， 运 行 Puppet 等 任务 。 

e OSTF(OpenStack Testing Framwork, or Health Check) 是 Fuel 的 健康 检查 组 
件 ， 它 是 一 个 独立 的 组 件 ， 可 以 脱离 Fuel 单独 使 用 。 它 的 主要 作用 是 
OpenStack 的 部 署 后 功能 性 校 验 。 


Fuel 架构 中 最 核心 的 部 分 就 是 Fuel Master Node。 它 包含 了 所 有 用 于 管理 其 他 节 
点 的 所 有 服务 ， 包 括 安装 操作 系统 ， 创 建 OpenStack 云 环境 等 等 。 其 中 Nailgun 

是 最 重要 的 服务 。 它 是 一 个 RESTful 的 应 用 ， 和 包含 了 所 有 的 业务 逻辑 。 用 户 通 过 

Fuel Web 接口 或 者 CLI 接口 来 与 它 进行 交互 。 例 如 创建 新 的 环境 ， 编 辑 配置 ， 将 
节点 与 角色 关联 ， 并 开始 OpenStack 集群 的 部 署 等 等 。 


Nailgun 将 所 有 的 配置 数据 存储 在 PostgreSQL 中 ， 其 中 包含 了 节点 的 硬件 配置 
角色 ， 环 境 等 配置 ， 以 及 当前 的 部 署 状态 信息 等 等 


被 管理 节点 启动 时 (PXE) 会 通过 master 节点 上 的 PXE 服务 器 提供 的 一 个 特殊 的 
bootstrap 镜像 启动 。 这 个 镜像 会 运行 一 个 特殊 的 脚本 ， 即 Nailgun agent ° 
nailgun-agent.rb 会 收集 节点 的 硬件 信息 并 通过 REST API 将 这 些 信息 注册 到 
Nailgun 中 ， 这 样 就 完成 了 服务 器 的 自动 发 现 ， 可 以 在 面板 中 给 这 些 被 发 现 的 主机 
分 配角 色 。 


À 


User 


Discovered Node 


T Nailgun Agent 






T CLI tool 





Upload hardware profile 
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集群 部 团 


当 用 户 配 置 了 一 个 新 环境 后 ， 部 署 过 程 就 开始 了 。Nailgun 服务 会 创建 一 个 带 有 环 
境 配 置信 息 的 JSON Wb 并 将 这 个 文件 发 送 到 RabbitMQ 上 。 这 个 信息 应 该 由 进 
行 部 署 的 进程 收 到 ， 进程 叫做 Astute ° 


Master Node 


Astute Worker 


Lie 


Take task from Nailgun queue \ Set node's settings through XML-RPC 


P Nall Put task into Nailgun que Q P cobbi = d 
|, Nailgun RabBftMQ T Cobbler | | DHCP and TFTP 





Astute 工作 进程 会 监听 RabbitMQ 队列 。 它 使 用 它 的 Astute 库 来 完成 所 有 的 部 署 
工作 。 首 先 ， 它 会 对 环境 的 节点 提供 provisioning 服务 。Astute 使 用 XML-RPC 来 
在 Cobbler 中 设置 节点 的 配置 ， 并 通过 MCollective agent 来 重启 节点 来 让 Cobbler 
安装 操作 系统 。Cobbler 是 一 个 批量 部 署 系统 ， 它 通过 DHCP 和 TFTP 服务 来 提供 
PXE 服务 。 


Astute 把 被 管理 节点 需要 执行 的 操作 发 送 到 RabbitMQ 中 。MCollective server 会 
在 所 有 安装 完 操 作 系 统 的 节点 上 启动 并 监听 MQ 中 的 消息 ， 当 收 到 消息 后 ， 会 执行 
响应 的 操作 并 传递 接收 到 的 对 应 参数 。MCollective agent 就 是 一 些 Ruby 脚本 ， 这 
些 脚本 用 于 完成 相应 的 操作 。 


当 被 管理 节点 的 操作 系统 安装 完成 后 ，Astute 就 会 开始 部 署 OpenStack 服务 。 首 
先 ， 它 使 用 uploadfile agent 将 节点 的 配置 文件 分 发 到 每 个 节点 上 ， 文 件 路 径 为 
/etc/astute.yaml。 这 个 文件 包含 了 用 于 部 署 此 节点 的 所 有 的 变量 和 配置 。 


接 下 来 ，Astute 使 用 puppetsync agent 来 同步 所 有 的 Puppet 模块 和 manifest x 
件 。 同 步 是 通过 rsync 连接 到 Master 节点 的 rsync server 完成 的 ， 它 会 下 载 最 新 
版 本 的 Puppet 模块 和 manifest 文件 。 


Managed Node 









MCollective 


T shen T uploadfile I puppetd E puppetsync | 


\ 
\ 
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astute.yaml 
` 





Master Node 


I 
I 
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当 模 块 同步 完成 后 ，Astute 会 通过 运行 Puppet 的 site.pp 来 进行 部 署 工 作 。 
MCollective agent 通过 daemonize 工具 来 运行 puppet， 类 似 于 这 


deamonize puppet apply /etc/puppet/manifests/site. pp 


Astute 会 周期 性 的 检查 agent 的 执行 进度 ， 如 果 部 署 完成 ， 它 会 通过 RabbitMQ 将 
状态 报告 至 Nailgun ° 


Puppet 会 读 取 astute.yaml 文件 的 内 容 作 为 fact 变量 ， 并 将 其 解析 到 
$fuel settings 这 个 变量 中 。 


当 Puppet 运行 结束 后 ，Astute 获取 Puppet 运行 — d 并 将 结果 汇报 
至 Nailgun。 用 户 可 以 通过 Fuel Web 或 者 CLI 来 查看 运行 的 进度 和 结果 。 


Fuel 还 提供 puppet-pull 脚本 ， 开 发 者 可 以 使 用 这 个 脚本 来 手动 从 Master 同步 
manifest 并 在 节点 上 运行 。 


Astute 还 会 完成 一 些 其 他 的 操作 ， 例 如 


e 生成 和 上 传 SSH key 

e 使 用 net verify.py 来 验证 网 络 的 连通 性 

e 部 署 完成 后 上 传 CirrOS 镜像 到 Glance 中 

e 当 有 新 的 节点 加 入 时 ， 更 新 所 有 节点 的 letclhosts 
e 当 Ceph 节点 部 署 后 更 新 RadosGW map 


当 一 个 环境 被 删除 时 ，Astute 通过 Mcollective agent 来 删除 所 有 点 的 的 启动 删除 ， 
并 重启 节点 ， 这 些 节点 会 通过 bootstrap 镜像 重新 引导 ， 可 以 用 于 新 环境 的 部 署 。 


e Fuel 
e What is Fuel? 
o Online demo 
e Fuel 架构 
o 服务 器 发 现 
o 集群 部 署 


Kolla 


简介 


Kolla 是 OpenStack Big Tent Governace 下 的 一 个 项 目 ， 项 目的 目标 是 


To provide production-ready containers and deployment tools for operating 
OpenStack clouds. 


Kolla 使 用 Docker 容 器 和 Anisble playbooks 来 实现 这 个 目标 。Kolla 是 开 箱 即 用 的 ， 
即使 你 是 个 新 手 也 可 以 很 快 的 使 用 kolla 快 速 部 署 你 的 openstack 集 群 。Kolla 也 允许 
你 根据 实际 的 需求 来 定制 化 的 部 署 。 


kolla 目 前 已 经 可 以 部 署 以 下 openstack 项 目 


e Aodh 

e Barbican 
e Bifrost 

e Ceilometer 
e Cinder 

e Cloudkitty 
e Congress 
e Designate 
e Glance 

e Gnocchi 
e Heat 

e Horizon 

e Ironic 

e Keystone 
e Kuryr 

e Magnum 
e Manila 

e Mistral 

e Murano 


e Neutron 
e Nova 

e Rally 

e Sahara 
e Senlin 
e Swift 

e Tempest 
e Trove 

e Vmtp 

e Watcher 
e Zadar 


可 以 部 署 的 基础 组 件 包括 


e Ceph fkcinder/nova/glance 4$ fi J& 35 

e [collectd (https://collectd.org), [InfluxDB (https://influxdata.com/time-series- 
platform/influxdb/), and [Grafana (http://grafana.org) for performance 
monitoring. 

e [Elasticsearch (https://www.elastic.co/de/products/elasticsearch) and [Kibana 
(https://www.elastic.co/de/products/kibana) 日 志 分 析 

e [HAProxy (http://www.haproxy.org/) and [Keepalived 
(http://www.keepalived.org/) 高 可 用 

e [Heka (http://hekad.readthedocs.org/) 分 布 式 可 扩展 的 日 志 系 统 

e [MariaDB and Galera Cluster (https://mariadb.com/kb/en/mariadb/galera- 
cluster/) 高 可 用 数据 库 

e [MongoDB (https://www.mongodb.org/) Ceilometer 和 Gnocchi 的 数据 库 后 端 

e [Open vSwitch (http://openvswitch.org/) 

e [RabbitMQ (https://www.rabbitmq.com/) 消息 队列 
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可 以 参照 kolla 官 方 文 
档 https://github.com/openstack/kolla/blob/master/doc/quickstart.rst 进行 部 署 。 


Kolla 解 决 的 问题 


Kolla 


深入 理解 OpenStack 自 动 化 部 署 


可 配置 的 灵活 架构 


可 以 看 下 默认 的 多 节点 架构 


和 


# These initial groups are the only groups required to be modified 
# additional groups are for more control of the environment. 
[control] 

# These hostname must be resolvable from your deployment host 
control01 

control02 

control03 


4 The above can also be specified as follows: 
#control[01:03] ansible ssh user-kolla 


# The network nodes are where your 13-agent and loadbalancers will 
4 This can be the same as a host in the control group 

[network] 

network01 


[compute ] 
compute01 


# When compute nodes and control nodes use different interfaces, 
# you can specify "api interface" and another interfaces like belov 
4ZcomputeO1 neutron external interface-ethO api interface-em1 storat 


[storage] 
storage01 


[baremetal:children] 
control 
network 
compute 
storage 


# You can explicitly specify which hosts run each project by updat: 
# groups in the sections below. Common services are grouped togethe 
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[kibana: children] 
control 


[elasticsearch:children] 
control 


[haproxy:children] 
network 


[mariadb:children] 
control 


[rabbitmq:children] 
control 


[mongodb: children] 
control 


[keystone:children] 
control 


[glance:children] 
control 


[nova:children] 
control 


[neutron:children] 
network 


[cinder:children] 
control 


[memcached: children] 
control 


[horizon:children] 
control 


[swift:children] 
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control 


[heat: children] 
control 


[murano:children] 
control 


[ironic:children] 
control 


[ceph-mon:children] 
control 


[ceph-rgw:children] 
control 


[ceph-osd:children] 
storage 


Additional control implemented here. These groups allow you to cí 
services run on which hosts at a per-service level. 


Word of caution: Some services are required to run on the same hc 
function appropriately. For example, neutron-metadata-agent must 


dk dt db Gt dt dGk 


same host as the 13-agent and (depending on configuration) the dl 


4 Glance 
[glance-api:children] 
glance 


[glance-registry:children] 
glance 


# Nova 
[nova-api:children] 
nova 
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[nova-conductor:children] 
nova 


[nova-consoleauth:children] 
nova 


[nova-novncproxy: children] 
nova 


[nova-scheduler:children] 
nova 


[nova-spicehtml5proxy:children] 
nova 


[nova-compute-ironic:children] 
nova 


Neutron 
[neutron-server:children] 
control 


[neutron-dhcp-agent:children] 
neutron 


[neutron-13-agent:children] 
neutron 


[neutron-lbaas-agent:children] 
neutron 


[neutron-metadata-agent:children ] 
neutron 


加 nm 





默认 我 们 会 把 haproxy 放 到 network 节 点 ， 如 果 我 想 把 haproxy 放 到 一 个 单独 的 节 
点 ， 那 么 我 只 需要 到 这 样 修改 


- [haproxy:children] 
-network 

+[haproxy ] 
+haproxy01 
+haproxy02 


己 置 文件 管理 


每 个 openstack 服 务 都 运行 在 一 个 容器 中 ， 那 kolla 是 怎么 管理 openstack 的 配置 的 
呢 ? 我 们 拿 nova-compute 的 配置 管理 来 举例 


首先 kolla 会 使 用 ansible 为 nova-compute 生 成 一 份 配置 文件 放 
在 /etc/kolla/nova-compute/ 目 录 下 。 


#nova_custom_config&t\ «/etc/kolla/configs/nova 
#node_config_directoryXt« /etc/kolla 
- name: Copying over nova.conf 
merge_configs: 
vars: 
service_name: "{{ item }}" 
sources: 
- "ff role path }}/templates/nova.conf.j2" 
- "(( node custom config }}/global.conf" 
- "(( node custom config }}/database.conf" 
- "(4 node custom config }}/messaging.conf" 
- "(( node custom config }}/nova.conf" 
- "(4 node custom config }}/nova/{{ item }}.conf" 
- "(4 node custom config }}/nova/{{ inventory hostname }}/no\ 
dest: "{{ node config directory }}/{{ item }}/nova.conf" 
with items: 
- "nova-api" 
- "nova-compute" 
- "nova-compute-ironic" 
- "nova-conductor" 
- "nova-consoleauth" 
- "nova-novncproxy" 
- "nova-scheduler" 
- "nova-spicehtml5proxy" 


E E 





大 家 可 能 会 注意 到 kolla 使 用 merge_configs 来 完成 配置 文件 的 合并 ， 那 么 

merge_configs 是 干什么 的 呢 ? 顾 名 思 义 ，merge_configs 就 是 把 多 个 配置 文件 合成 

一 个 ,kolla 为 什么 要 这 样 做 呢 ? openstack 配 置 选 项 非常 多 但 是 真正 需要 管理 的 则 很 

- ， 对 这 部 分 选项 kolla 使 用 模版 的 方式 管理 ， 同 时 由 于 merge_configs 的 使 用 ， 使 
得 用 户 可 以 非常 方便 的 添加 自己 的 定制 化 选项 。 比 如 你 部 署 kolla 在 一 台 虚 拟 机 上 ， 

你 必须 使 用 QEMU hypervisor 来 蔚 代 KVM hypervisor。 那 么 你 可 以 

在 /etc/kolla/config/nova/nova-compute.conf 中 添加 以 下 配置 


[libvirt ] 
virt_type=qemu 


merge_configs 的 代码 在 ansible/action plugins/merge configs.py 


动容 器 时 /etc/kolla 以 docker 卷 的 形式 挂 载 
到 /var/lib/kolla/config_files E x F 


- name: Starting nova-libvirt container 
kolla_docker: 
action: "start_container" 
common_options: "{{ docker_common_options }}" 
image: "{{ nova libvirt image full jj" 
name: "nova libvirt" 
pid mode: "host" 
privileged: True 
volumes: 
- "(4 node config directory }}/nova-libvirt/:{{ container cor 
- "/etc/localtime:/etc/localtime:ro" 
- "/lib/modules:/lib/modules:ro" 
= Ap so ET * 
- "/dev:/dev" 
- "/sys/fs/cgroup:/sys/fs/cgroup" 
- "kolla_logs:/var/log/kolla/" 
:LIzbvirtd:/var/lrb/libvirt" 
- "nova compute: /var/1lib/nova/" 
- "nova libvirt qgemu:/etc/libvirt/qemu" 
when: inventory hostname in groups['compute'] 
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容器 启动 脚本 会 根据 nova-compute.json 来 将 配置 文件 拷贝 
到 [etc 并 设置 合适 的 权限 


"command": "nova-compute", 
"Config files”: [ 
{ 
"source": "{{ container config directory }}/nova.conf", 
"dest": "/etc/nova/nova.conf", 
"owner": "nova", 
"perm": "0600" 
}{% if nova backend == "rbd" 95, 
{ 
"source": "{{ container_config_directory }}/ceph.*", 
"dest": "/etc/ceph/", 
"owner": "nova", 


"perm": "0700" 
}{% endif %} 


} 
b | 


关于 kolla 配 置 文件 的 管理 还 可 以 参考 这 里 


nova-fake 测 试 控制 平台 性 能 


这 里 


compute 节 点 升级 问题 


由 于 所 有 服务 都 运行 在 容器 中 ， 那 么 是 不 是 我 升级 Compute 节 点 时 ， 该 节点 的 庶 机 
都 会 进入 关机 状态 呢 ，kolla 使 用 super-privilege 的 容器 来 解决 了 这 个 问题 具体 可 以 
参考 kolla PTL 的 文章 https://sdake.io/2015/01/28/an-atomic-upgrade-process-for- 
openstack-compute-nodes/ 


平滑 升级 


kolla 为 升级 也 编写 了 upgrade.yaml 这 个 playbook, 我 们 还 是 拿 nova-compute 的 升级 
为 例 


# kolla/ansible/roles/nova/tasks/upgrade. yml 
# Create new set of configs on nodes 
- include: config.yml 


# TODO(incO): since nova is creating new database in L->M, we need 
# It should be removed later 
- include: bootstrap.yml 


- include: bootstrap service.yml 


- name: Checking if conductor container needs upgrading 

kolla docker: 

action: "compare image" 

common options: "{{ docker common options jj" 

name: "nova conductor" 

image: "{{ nova conductor image full }}" 
when: inventory hostname in groups['nova-conductor'] 
register: conductor differs 


# Short downtime here, but from user perspective his call will jus! 
- name: Stopping all nova conductor containers 
kolla docker: 
action: "stop container" 
common options: "{{ docker common options }}" 
name: "nova conductor" 
when: 
- inventory hostname in groups['nova-conductor' ] 
- conductor differs['result'] 


- include: start conductors.yml 


- include: start controllers.yml 
serial: "30%" 


- include: start compute.yml 
serial: "10%" 


- include: reload.yml 


serial: "30%" 























[p 


使 用 


查看 log 
cd /var/lib/docker/volumes/kolla_logs/ 
进入 容器 调试 


docker exec -it service name bash 


root 权 限 问 题 


出 于 安全 考虑 很 多 kolla 服 务 都 是 运行 在 非 root 下 ， 进 入 容器 后 拿 不 到 root 权 限 ， 我 
们 还 以 nova_compute 为 例 ,可 以 修改 /etc/kolla/nova_compute/config.json 改 为 以 下 


{ 
"Command": "nova-compute", 
"contag-criles" = | 
1 
"source": "/var/lib/kolla/config files/nova.conf", 
"dest": "/etc/nova/nova.conf", 
"owner": "nova", 
"perm": "0600" 
tr 
{ 
"source": "/var/lib/kolla/config_files/nova.sudo", 
"dest": "/etc/sudoers.d/nova.sudo", 
"owner": "root", 
} ] 


然后 在 /etc/kolla/nova-compute 添 加 nova.sudo 
nova ALL=(ALL) NOPASSWD: ALL 
重启 容器 后 即 可 sudo 到 root 用 户 下 调试 
定制 化 build 镜 像 
参考 https://github.com/openstack/kolla/blob/master/doc/image-building.rst 
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优点 


e 配置 管理 灵活 方便 
e 可 以 平滑 升级 

e 部 署 简单 

e 环境 隔离 

e 多 种 安装 源 

o 支持 的 部 署 的 服务 多 


缺点 


e 对 新 手 的 友好 程度 
e debug 不 方便 


e Kolla 

o 简介 

o Kolla 体 验 

o Kolla 解 决 的 问题 
m 可 配置 的 灵活 架构 
m 配置 文件 管理 
m OoVvVa-fake 测 试 控制 平台 性 能 
= COmpute 节 点 升级 问题 
m 平滑 升级 

o 使 用 


深入 理解 OpenStack 自 动 化 部 署 


a 查看 log 

m 进入 容器 调试 

m foot 权 限 问 题 
定制 化 build 镜 像 


o 

ÈK 

w d 
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TripleO 


— ^ TripleO 简介 


TripleO 又 叫 OpenStack on OpenStack， 是 一 个 用 OpenStack 来 部 署 、 升 级 和 管理 
OpenStack 的 工具 。 TripleO 里 面 有 两 个 主要 部 分 : Undercloud 和 Overcloud， 使 用 
TripleO， 你 需要 先 创 建 一 个 小 的 OpenStack 环 境 ， 称 为 :Undercloud， 它 包含 了 
Heat、Ironic、Horizen、Keystone、Neutron 等 项 目 ，TripleO 使 用 Ironic 做 裸 机 管 
理 ，Heat 做 编排 ，Keystone 做 用 户 管理 等 ， 使 用 Undercloud 部 署 出 来 的 是 正式 的 
OpenStack 环 境 : Overcloud 。 


二 、TripleO 部 署 需求 


硬件 需求 
部 署 TripleO 至 少 需要 3 个 节点 ， 角 色 分 别 如 下 : 


e 一 个 Undercloud 节 点 
e 一 个 Overcloud 控 制 节 点 
e 一 个 Overcloud 计 算 节 点 


最 小 配置 : 


e 多 核 CPU 
e 8G AË 
e 60G 硬盘 


推荐 使 用 物理 机 ， 开 发 测试 也 可 以 使 用 虚拟 机 ，TripleO 部 署 目 前 只 支持 RHEL 7.1 
x86_64 和 CentOS 7 x86_64 » 


网 络 需求 


深入 理解 OpenStack 自 动 化 部 署 


注 : 此 网 络 需求 不 包含 Overcloud 中 OpenStack 所 需 网 络 。 


e Overcloud 服 务 器 需要 配置 好 IPM|。 

e 一 个 管理 网 卡 ， 用 于 管理 Undercloud 和 Overcloud ° 

° i TENE ' 这 个 网 卡 在 Overcloud 中 需要 是 同一 名 称 的 网 卡 ， 
如 em2， 这 个 名 称 将 会 在 安装 配置 的 LOCAL INTERFACE 参数 中 使 用 ， 并 
且 不 能 和 管理 网 络 是 同一 块 网 卡 。 

e 在 BIOS 中 ， 把 用 于 PXE 的 网 卡 放 到 引导 顺序 的 第 一 位 ， 并 且 关 闭 除 了 PXE 
网 卡 之 外 所 有 网 卡 的 网 络 启 动 选 项 。 

e 收集 所 有 Overcloud 节 点 的 用 于 PXE 引 导 网 卡 的 MAC 地 址 和 IPMI 信 息 。 


网 络 参 考 下 图 : 











Undercloud 


Controller Compute 


| Overcloud | Overcloud | 














TripleO 提 供 了 一 个 工具 tripleo-validations 用 于 检测 TripleO 部 署 可 能 出 现 的 问题 ， 该 
工具 基于 Ansible 和 Python 编写 ， 在 validations 目 录 下 提供 了 很 多 检测 的 内 容 ， 如 : 


e NTP 配置 

e DHCP 

e Pacemaker 状 态 

e Undercloud 硬 件 配 置 

e MySQL 打开 连 接 数 限制 
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8 T TripleO 1 x — A hÆ 4% OpenStack#3e > 3p AAG RWI HM > Fe wT JU 
项 目 用 来 部 署 TripleO， 如 : Tripleo-Quickstart 和 官方 推荐 项 目 Instack- 

Undercloud ° 其 中 ,Tripleo-Quickstart 主 要 使 用 Ansible 部 署 、Instack-Undercloud 
则 混合 使 用 了 脚本 和 Puppet 来 部 署 ， 但 是 使 用 Puppet 的 时 候 有 些 调用 模块 的 时 候 会 
出 问题 ， 调 用 的 资源 改名 时 Instack-Undercloud 里 没有 修改 ， 所 以 在 使 用 Instack- 
Undercloud 部 署 TripleO 的 时 候 最 好 了 解 一 些 Puppet 知 识 。 另外 ， 由 于 使 用 RDO 的 
源 要 下 载 很 多 包 ， 网 速 慢 的 同学 就 要 痛苦 了 ， 可 能 要 部 署 很 长 时 间 。 


四 、TripleO 部 着 DpenStack 
1. 生成 镜像 


TripleO 部 署 需要 如 下 几 个 镜像 : 


ironic-python-agent.initramfs 
ironic-python-agent.kernel 
overcloud-full.initrd 
overcloud-full.qcow2 
overcloud-full.vmlinuz 


注 : 如 果 只 是 测试 的 话 也 可 以 从 CentOS 网 站 上 下 载 


如 果 使 用 的 是 CentOS 系 统 ， 可 以 直接 使 用 以 下 命令 创建 : openstack overcloud 
image build ， 而 如 果 是 RHEL 系 统 ， 则 需要 通过 --config-file 参数 进行 指定 
配置 文件 ， openstack overcloud image build --config-file 
/usr/share/openstack-tripleo-common/image-yaml/overcloud-images.yaml 
--config-file $0S_YAML 


iz : image-yaml 目 录 是 在 5.0 版 本 后 才 有 的 ，Mitaka 版 本 装 的 是 2.1.1 版 本 ， 并 


没有 这 个 目录 。 


2. 上 传人 镜像 


使 用 如 下 命令 上 传人 镜像 openstack overcloud image upload ,更 新 镜像 使 

用 openstack overcloud image upload --update-existing ， 如 果 上 传 的 
是 .initramfs 后 级 的 镜像 ， 需 要 执行 以 下 命令 重新 配置 |ronic 使 用 这 个 镜像 . 
openstack overcloud node configure --all-manageable 


3. 注册 节点 


注册 节点 是 注册 到 Ironic 里 面 ， 我 们 在 前 面 提 过 ，TripleO 使 用 Ironic 管 理 裸 机 ， 
openstack overcloud node import instackenv.json ， 使 用 的 文件 可 以 是 
JSON、YAML 或 CSV 文 件 ， 导 入 时 根据 后 级 名 判断 ， 该 JSON 文 件 模板 如 下 : 


{ 
"nodes": [ 
{ 
"om_type":"pxe_ipmitool", 
"mac": [ 
"fa:16:3e:2a:0e:36" 
], 
Mi ol Mr 
"memory" :"4096", 
"disk":"40", 
"arch":"x86_64", 
"pm_user":"admin", 
"om_password": "password", 
"pm_addr":"10.0.0.8" 
3 
DS 省 略 两 个 节点 
] 
} 
该 命令 只 会 导入 信息 ， 不 会 进行 检查 ， 导 入 后 状态 为 : manageable > Ironic ? R $ 


e enroll， 该 状态 是 Ironic 不 会 对 其 进行 管理 ， 在 Newton 版 本 后 ， 支 持 使 用 该 状态 
替换 available 状 态 ， 即 导入 时 添加 --initial-state=enroll 参数 。 

e manageable， 验 证 完 |PMI| 等 可 用 后 ， 服 务 器 被 设置 为 manageable 状 态 ， 在 这 
个 状态 时 ， 用 户 可 以 进行 自 检 、RAID 配 置 等 操作 ， 但 还 不 能 开始 部 署 。 

e available， 部 署 前 的 最 后 一 个 状态 ， 此 状态 时 Ironic 可 以 随时 开始 部 署 。 


如 果 要 在 导入 时 进行 检查 ， 则 执行 以 下 命令 : openstack overcloud node 
import --introspect --provide instackenv.json 


4.7 2A 


上 节 说 过 ， 在 manageable 状 态 时 ， 用 户 可 以 执行 自 检 程序 ， 命 令 如 下 : Mitaka 版 本 
中 则 是 使 用 openstack baremetal introspection bulk start ， 之 后 的 版 本 


使 用 : openstack overcloud node introspect --all-manageable ， 如 果 只 
需要 检查 一 个 节点 可 以 先 把 该 节点 置 为 nanageable 状 态 ， 然 后 执行 检查 : 


ironic node-set-provision-state UUID manage 
openstack baremetal introspection start UUID 


然后 使 用 以 下 命令 查看 这 台 机 器 的 状态 ， 看 其 中 的 finished 是 否 为 True : 
openstack baremetal introspection status UUID 


5. TA 


使 用 openstack overcloud deploy 命令 部 署 ， 后 面 使 用 —templates 指定 的 
Heat 模 板 ， -e 指定 Heat 环 境 文 件 ， 给 Heat 传 递 参数 ， 由 于 TripleO 使 用 Heat 部 署 
Overcloud， 理 所 当然 ， 你 起 码 得 了 解 Heat， 知 道 该 怎么 用 ， 附 录 中 有 Heat 模 板 的 
连接 ， 感 兴趣 的 可 以 看 一 下 ， 这 里 我 们 就 不 多 做 介绍 了 。 TripleO 支 持 控制 节点 HA 
部 署 ,至 少 需要 3 个 节点 通过 Pacemaker 实 现 HA 功 能 ， 通 过 以 下 方式 添加 到 deploy 命 
令 的 后 面 : 


# cat << EOF > ~/environment.yaml 

parameter_defaults 
ControllerCount: 3 

EOF 


# openstack overcloud deploy -e environment.yaml -e /usr/share/oper 





深入 理解 OpenStack 自 动 化 部 署 


e 诸 悉 OpenStack 的 人 使 用 方便 
e 很 好 的 管理 物理 服务 器 ， 完 整 的 生命 周期 管理 


缺点 


o A RR 
e 上 手 较 困 难 


Heat 模 板 : https://docs.openstack.org/developer/heat/template_guide/index.html 


e TripleO 


o — ^ TripleO 简介 
o 二 、TripleO 部 署 需求 


m 硬件 需求 


m P) 


o =» ù% TripleO 
o W >` TripleO?f 4 OpenStack 


m 1. 
m 2. 
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Packstack 
简介 


Packstack 主 要 是 由 Redhat 推 出 的 用 于 概念 验证 (PoC) 环境 快速 部 署 的 工具 。 
Packstack 是 一 个 命令 行 工 具 ， 它 使 用 Python 封装 了 Puppet 模 块 ， 通 过 SSH 在 服务 
器 上 部 署 OpenStack 。 


Packstack 支 持 三 种 运行 模式 : 


@ 快速 运行 
e 交互 式 运行 
e 非 交互 式 运行 


Packstack 支 持 两 种 部 署 架 构 : 


e All-in-One， 即 所 有 的 服务 部 署 到 一 台 服 务 器 上 
e Multi-Node， 即 控制 节点 和 计算 机 分 离 


为 Redhat 官 方 有 详细 的 使 用 文档 ， 因 此 本 文 将 简要 介绍 Packstack 的 快速 运行 以 
及 交互 式 运 行 方 式 来 部 署 All-in-One 的 Openstack。 


部 署 前 准备 


在 开始 部 署 前 ， 我 们 需要 准备 一 人 台 虚 拟 机 ， 它 的 规格 如 下 : 


A AR BR 
处 理 器 推荐 2 核 以 上 
内 存 推荐 4G 以 上 
磁盘 推荐 20G 以 上 
网 卡 至 少 一 块 1G 网 卡 
操作 系统 CentOS7.2 


在 完成 虚拟 机 的 配置 和 启动 后 ， 在 终端 下 输入 以 下 指令 : 


$ sudo yum install -y https://www.rdoproject.org/repos/rdo-release 
$ sudo yum update -y 
$ sudo yum install -y openstack-packstack 











快速 运行 模式 ， 表 示 用 户 可 以 对 参数 不 做 任何 配置 即 可 开始 部 署 ， 用 户 只 需要 决定 
单 节点 还 是 多 节点 的 部 署 方式 。 


在 packstack 命 令 后 ， 使 用 --allinonec 参 数 在 本 机 上 部 署 所 有 服务 。 
$ packstack --allinone 


多 节点 


使 用 --install-hosts 参 数 来 运行 packstack， 该 参数 值 是 由 一 个 过 号 隔 开 的 IP 地 址 列 
表 。 


$ packstack --install-hosts=CONTROLLER_ADDRESS, NODE_ADDRESSES 


Packstack 在 部 署 完成 后 在 终端 上 会 输出 以 下 信息 : 


**** Installation completed successfully ****** 


交互 式 运行 


1. 如 果 硕 望 以 交互 式 的 方式 来 配置 集群 的 部 署 ， 可 以 在 终端 下 输入 : 


# packstack 


2.packstack 会 提示 你 输入 一 个 用 于 保存 公共 密 钥 的 路 径 ， 输 入 Enter ， 则 会 使 用 
默认 的 ~/.ssh/id_rsa. pub 


Enter the path to your ssh Public key to install on servers: 


3.packstack 提 示 输 入 一 个 默认 密码 ， 该 密码 将 作为 admin user 密 码 ， 不 输入 则 随 


机 生成 : 


Enter a default password to be used. 


‘| 


Leave blank for a randomly ger 


—E 








4. 输 入 每 个 wsgi 服 务 的 进程 数 ， 默 认 等 于 cpu 的 核 数 : 


Enter the amount of service workers/threads to use for each service 





5. 确 认 是 否 要 安装 MariaDB 数 据 库 ,默认 为 y : 


Should Packstack install MariaDB [y|n] 


[y] 


6. 确 认 是 否 安装 Openstack 组 件 ， 可 以 根据 需要 定制 服务 : 


Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 
Should 


Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 
Packstack 


install 
install 
install 
install 
install 
install 
install 
install 
install 
install 
install 
install 
install 
install 
install 


OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 
OpenStack 


Image Service (Glance) [y|n] D 
Block Storage (Cinder) [y|n] D 
Shared File System (Manila) [yl 


Compute (Nova) [y|n] [y] 
Networking (Neutron) [y|n] [y] 
Dashboard (Horizon) [y|n] [y] 


Object Storage (Swift) [y|n] D 
Metering (Ceilometer) [y|n] [y. 
Telemetry Alarming (Aodh) [y|n] 
Resource Metering (Gnocchi) [y|r 
Clustering (Sahara). If yes it'. 


Orchestration (Heat) [y|n] [n] 
Database (Trove) [y|n] [n] 
Bare Metal (Ironic) [y|n] [n] 


client tools [y|n] 


[y] 








7.Packstack 为 所 有 服务 配置 NTP 服 务 来 校准 系统 时 间 ，NTP 的 设置 只 对 多 节点 有 意 
X: 


Enter a comma separated list of NTP server(s). Leave plain if Pack: 


«| m 








8. 是 否 安装 Nagios 监 控 服 务 : 


Should Packstack install Nagios to monitor OpenStack hosts [y|n] 


EE 





9. 哪 些 服 务 器 在 本 次 安装 中 被 排除 在 外 : 


Enter a comma separated list of server(s) to be excluded. Leave pli 


E 





10. 是 否 启 用 调试 模式 : 


Do you want to run OpenStack services in debug mode [y|n] [n] 


11. 指 定 控制 器 的 地 址 : 


Enter the controller host [10.211.55.8] 


12. 指 定 计 算 节点 的 地 址 : 


Enter list of compute hosts [10.211.55.8] 


13. 指 定 网 络 节点 的 地 址 : 


Enter list of network hosts [10.211.55.8] 


14. € 4& FF] VMWare vCenter/t 4 hypervisorfedatastore hy /5 35 : 


Do you want to use VMware vCenter as hypervisor and datastore [y|n. 


‘ — 3} 








15. 指 定 是 否 使 用 不 支持 的 参数 ， 推 着 使 用 默认 设置 : 


Enable this on your own risk. Do you want to use unsupported parame 


‘ — 








16. 网 卡 名 称 是 否 被 自动 识别 为 子 网 +CIDR 的 格式 : 


Should interface names be automatically recognized based on subnet 
剧本 


17. 是 否 为 每 个 服务 器 订阅 Extra Packstacks for Enterprise Linux(EPEL)， 建 议 使 用 
默认 设置 : 





To subscribe each server to EPEL enter "y" [y|n] [n] 


18. 是 否 局 用 自 定义 的 软件 包 仓库 : 


Enter a comma separated list of URLs to any additional yum reposit« 


a ëB 





19. 是 否 尼 用 rdo test : 


To enable rdo testing enter "y" [yln] [n] 


20.45 2 FR] Red Hat?T X] » Wit Rp : 


To subscribe each server to Red Hat enter a username : 
To subscribe each server with RHN Satellite enter RHN Satellite sei! 


a —— — Á———— MÀ üÀ—— aur] 


21.ssl 证 书 相 关 的 操作 : 





Enter the filename of the SSL CAcertificate, if the CONFIG_SSL_CACE 
Enter the filename of the SSL CAcertificate Key file, if the CONFI( 
Enter the path to use to store generated SSL certificates in [~/pé 


Should packstack use selfsigned CAcert. [y|n] [y] 


Enter the ssl certificates subject country. [--] 

Enter the ssl certificates subject state. [State] 

Enter the ssl certificate subject location. [City] 

Enter the ssl certificate subject organization.  [openstack] 

Enter the ssl certificate subject organizational unit.  [packstack: 

Enter the ssl certificaate subject common name. [centos-7.1.sharec 

Enter the ssl certificate subject admin email.  [adminQcentos-7.1.: 
a E 





22. 配 置 AMQP 服 务 ， 黑 认 会 使 用 RabbitMQ 作 为 backend， 不 局 用 身份 验证 和 


SSL : 


Set the AMQP service backend [rabbitmq]  [rabbitmq] 
Enter the host for the AMQP service [10.211.55.8] 
Enable SSL for the AMQP service? [y|n] [n] 

Enable Authentication for the AMQP service? [y|n] [n] 


23.52 8 MariaDB/R + 


Enter the IP address of the MariaDB server [10.211.55.8] 
Enter the password for the MariaDB admin user 


Confirm password 


24. 配 置 Identity 服 务 ， 包 括 设置 数据 库 连 接 的 密码 ， 创 建 默认 的 admin,demo 用 户 等 
基本 操作 : 


Enter the password for the Keystone DB access 

Confirm password 

Enter y if cron job for removing soft deleted DB rows should be cre 
Confirm password [y|n] [y] 

Region name  [RegionOne] 

Enter the email address for the Keystone admin user  [rootQlocalho: 
Enter the username for the Keystone admin user [admin] 

Enter the password for the Keystone admin user 

Confirm password 

Enter the password for the Keystone demo user 

Confirm password 

Enter the Keystone identity backend type. [sql|ldap] [sql] 


| 





25. 配 置 Image 服 务 ， 包 括 设 置 数据 库 连 接 密码 ，glance 用 户 密 码 ， 后 端 存储 : 


Enter the password for the Glance DB access 
Confirm password 

Enter the password for the Glance Keystone access 
Confirm password 

Glance storage backend [file|swift] [file] 


26. 配 置 块 存储 服务 ， 包 括 设 置 数据 库 连 接 密码 ，cinder 用 户 和 密码 : 


Enter the password for the Cinder DB access 

Confirm password 

Enter y if cron job for removing soft deleted DB rows should be cre 
Confirm password [y|n] [y] 

Enter the password for the Cinder Keystone access 

Confirm password 

Enter the Cinder backend to be configured [lvm|gluster|nfs|vmdk|net 
Should Cinder's volumes group be created (for proof-of-concept ins! 
Enter Cinder's volumes group usable size [20G] 

Enter y if cron job for removing soft deleted DB rows should be cre 
Confirm password [y|n] [y] 


x] Ee 








27. 配 置 计算 服务 ， 包 括 flavor 资源 虚拟 比 ， 迁 移 ， 庶 拟 化 软件 等 参数 的 设置 : 


Should Packstack manage default Nova flavors [y|n] [y] 


Enter 
Enter 
Enter 
Enter 
Enter 
Enter 
Enter 


Enter 
The nova hypervisor that should be used. Either qemu or kvm. [qemu 
Confirm password [qemu|kvm] [%{::default_hypervisor} ] 


the CPU overcommitment ratio. Set to 1.0 to disable CPU over« 
the RAM overcommitment ratio. Set to 1.0 to disable RAM over. 
protocol which will be used for instance migration [tcp|ssh] 
the compute manager for nova migration [nova.compute.manage) 
the path to a PEM encoded certificate to be used on the http: 
the SSL keyfile corresponding to the certificate if one was 上 4 
the PCI passthrough array of hash in JSON style for controlle 
the PCI passthrough whitelist as array of hash in JSON style 





28. 配 置 网 络 服务 ， 包 括 从 组 件 ， 接 口 ， 网 络 驱 动 等 细节 的 设置 : 


Enter the password for Neutron Keystone access 


Confirm password 


Enter the password for Neutron DB access 


Confirm password 


Enter the ovs bridge the Neutron L3 agent will use for external tr: 


Enter Neutron metadata agent password 


Confirm password 
Should Packstack install Neutron LBaaS [y|n] [n] 
Should Packstack install Neutron L3 Metering agent [y|n] [y] 


Would 
Would 
Enter 
Enter 
Enter 
Enter 
Enter 
Enter 
Enter 
Enter 
Enter 
Enter 


you like to configure neutron FWaaS? [y|n] [n] 
you like to configure neutron VPNaaS? [y|n] [n] 


a 
a 
a 
a 
a 
a 
a 
a 


comma 
comma 
comma 
comma 
comma 
comma 


separated list of network type driver entrypoints [1¢ 
separated ordered list of network types to allocate : 
separated ordered list of networking mechanism drivei 
separated list of physical network names with which 
separated list of physical network names usable for \ 
separated list of «tun min»:«tun max» tuples enumerat 


multicast group for VXLAN: 


comma 


separated list of «vni min»:«vni max» tuples enumerat 


the name of the L2 agent to be used with Neutron [linuxbridgt 


a comma separated list of supported PCI vendor devices, defir 


Set to y if the sriov agent is required [y|n] [n] 


Enter 
Enter 
Enter 
Enter 
Enter 
Enter 
Enter 


E EN 


a 
a 
a 
a 


comma 
comma 
comma 
comma 


separated list of interface mappings for the Neutron 
separated list of bridge mappings for the Neutron opt 
separated list of OVS bridge:interface pairs for the 
separated list of bridges for the Neutron OVS plugin 


interface with IP to override the default tunnel local ip: 


comma separated list of subnets used for tunneling to make tl 
VXLAN UDP port number [4789] 





29.7% £ Dashboard/R 2- > LGA È Https/R 2» : 


Would you like to set up Horizon communication over https [y|n] [r 


b NE 


30. 配 置 对 象 存 储 服 务 ,包括 设备 逻辑 ，zone，replicas, 文 件 系统 和 块 设 备 大 小 的 配 


a: 


Enter the Swift Storage devices e.g. /path/to/dev: 

Enter the number of swift storage zones, MUST be no bigger than the 
Enter the number of swift storage replicas, MUST be no bigger than 
Enter FileSystem type for storage nodes [xfs|ext4] [ext4] 

Enter the size of the storage device (eg. 2G, 2000M, 2000000K) [2( 


4 ss 








31. 是 否 启 用 Tempest 服 务 : 


Would you like to provision for demo usage and testing [y|n] [y] 
Would you like to configure Tempest (OpenStack test suite). Note tl 


| — B 





32.7% 4 Floating IP 网 段 


Enter the network address for the floating IP subnet [172.24.4.22. 
E] 


33. 设 置 测 试镜 像 的 名 称 ， 源 地 址 ， 格 式 等 配置 : 





Enter the name to be assigned to the demo image  [cirros] 

Enter the location of an image to be loaded into Glance [http://dc 
Enter the format of the demo image  [qcow2] 

Enter the name of a user to use when connecting to the demo image * 
Enter the name to be assigned to the uec image used for tempest  [« 
Enter the location of a uec kernel to be loaded into Glance [http 
Enter the location of a uec ramdisk to be loaded into Glance  [htt[ 
Enter the location of a uec disk image to be loaded into Glance [lt 
Would you like to configure the external ovs bridge [y|n] [y] 


EE 





34.14 E Ceilometer,Aodh,Gnocchi/R # : 


Enter the password for Gnocchi DB access 

Confirm password 

Enter the password for the Gnocchi Keystone access 
Confirm password 

Enter the password for the Ceilometer Keystone access 
Confirm password 

Enter the Ceilometer service name. [ceilometer|httpd] [httpd] 
Enter the host for the MongoDB server [10.211.55.8] 
Enter the host for the Redis server [10.211.55.8] 
Enter the port of the redis server(s) [6379] 

Enter the password for the Aodh Keystone access 
Confirm password 


35. 设 置 nagios 用 户 的 密码 : 


Enter the password for the nagiosadmin user 


36. 最 后 一 步 ， 确 认 生成 的 配置 是 否 符合 期 望 ， 输 入 yes ， 并 按 BH 键 开始 执行 


ssh-public-key: /root/.ssh/id_rsa.pub 
default -password: 

service-workers: %{: :processorcount } 
mariadb-install: y 

aodh-ks-passwd: KARKKKKKS 
nagios-passwd: kk RR Ge 


Proceed with the configuration listed above? (yes|no): 


非 交 互 式 方式 运行 
使 用 下 述 命令 生成 一 个 answer file: 


# packstack --gen-answer-file=my_file 


使 用 vim 打 开 文 件 , 每 个 配置 项 都 含有 详细 的 说 明 : 


[general] 


# Path to a public key to install on servers. If a usable key has r 
# been installed on the remote servers, the user is prompted for a 
# password and this key is installed so the password will not be 

# required again. 

CONFIG_SSH_KEY=/root/.ssh/id_rsa.pub 


# Default password to be used everywhere (overridden by passwords : 
# for individual services or users). 
CONFIG_DEFAULT_PASSWORD= 


# The amount of service workers/threads to use for each service. 

# Useful to tweak when you have memory constraints. Defaults to the 
# amount of cores on the system. 
CONFIG_SERVICE_WORKERS=%{ : :processorcount} 


# Specify 'y' to install MariaDB. ['y', 'n'] 
CONFIG_MARIADB_INSTALL=y 


# Specify 'y' to install OpenStack Image Service (glance). ['y', 'r 
CONFIG_GLANCE_INSTALL=y 





例如 ， 我 们 不 希望 配置 MariaDB， 只 需要 将 CONFIG MARIADB INSTALL 设置 
Jn: 


CONFIG_MARIADB_INSTALL=n 


保存 并 退出 my _ file， 在 终端 下 运行 以 下 命令 指定 相应 的 配置 文件 : 


# packstack --answer-file=my_file 


深入 理解 Packstack 


Packstack 的 使 用 非常 简单 ， 关 于 如 何 使 用 的 介绍 就 到 此 结束 。 接 下 来 才 是 重点 ， 
我 们 要 深入 到 Packstack 的 核心 逻辑 : Plugin， 并 且 举 例 说 明 如 何 编写 Plugin 来 完成 
对 Packstack 的 功能 扩展 。 


什么 是 Plugin 


在 前 面 两 章 对 于 PuppetOpenstack modules 的 介绍 中 ， 所 有 服务 的 部 署 工作 实际 是 
由 每 个 modules 完 成 的 。 在 使 用 Packstack 的 时 候 ， 我 们 发 现 Packstack 支 持 大 量 的 
服务 部 署 ， 例 如 :nova,glance,maridb,amqp 等 等 。 在 其 背后 每 个 服务 的 配置 项 管理 
都 是 由 plugin 实 现 的 ， 其 路 径 是 在 : packstack/plugins， 它 看 起 来 是 这 样 的 : 


e init.py 

e amqp 002.py 
e aodh 810.py 
e 


e trove 850.py 


么 作用 ? 


我 们 来 看 一 下 packstack 代 码 入 口 packstack/installer/run_setup.py 是 怎么 
加 载 plugins 的 : 


在 主 函 数 入 口 ， 可 以 看 到 第 一 步调 用 了 loadPlugins 有 函数 来 加 载 插 件 : 


def main(): 
options = "" 
Eny: 
Load Plugins 
loadPlugins() 
initPluginsConfig() 


dia c 4415355 5| T loadPlugins B49 xx 3t > TRA EA PRA T sorted £& Zt d 
plugin 文 件 组 成 的 列表 进行 排序 : 


def loadPlugins(): 


Load All 


sys.path. 
sys.path. 


fileList 
fileList 
for item 


plugins from ./plugins 


append(basedefs.DIR PLUGINS) 
append(basedefs.DIR MODULES) 


[f for f in os.listdir(basedefs.DIR PLUGINS) if f[O0: 
sorted(fileList, cmp-plugin compare)  44$/lplugin co 


in fileList: 


4 Looking for files that end with ###.py, example: a plugir 
match = re.search("4(.+\_\d\d\d)\.py$", item) 
if match: 


SSS ae 


Ery: 


moduleToLoad = match.group(1) 
logging.debug("importing module %s, from file %s", 
moduleobj = __import__(moduleToLoad) 
moduleobj.__file__ = os.path.join(basedefs.DIR PLU( 
globals()[moduleToLoad] = moduleobj 
checkPlugin(moduleobj) 
controller.addPlugin(moduleobj) 


except: 


logging.error("Failed to load plugin from file %s", 
logging.error(traceback.format exc()) 
raise Exception("Failed to load plugin from file 96: 





查看 函数 plugin_compare 的 定义 ， 我 们 终于 找到 了 关键 ，plugin_compare 使 用 每 个 
plugin 文 件 尾 缀 的 三 位 数字 用 于 排序 比较 : 


def plugin_compare(x, y): 


Used to sort the plugin file list 
according to the number at the end of the plugin module 


x match = re.search(".+\_(\d\d\d)", x) 
x cmp = x match.group(1) 

y match = re.search(".+\_(\d\d\d)", y) 
y cmp = y match.group(1) 

return int(x cmp) - int(y cmp) 


在 了 解 了 plugin 的 加 载 顺序 后 ， 我 们 再 看 看 Plugin 的 代码 结构 。 实 际 上 ， 每 个 plugin 
的 代码 结构 是 一 致 的 ， oe 数组 成 : 


e initConfig(controller) 用 于 初始 化 Plugin 的 配置 ， 主 要 是 参数 和 参数 
组 。 
e initSequences(controller) 用 于 定义 该 plugin 执 行 的 任务 。 


在 这 些 plugin 中 ， 必 然 会 有 一 些 与 众 不 同 的 plugin， 比 如 说 第 一 个 被 加 载 的 
plugin，， 倒 数 第 二 个 被 加 载 的 plugin， 以 及 最 后 一 个 被 加 载 的 plugin: 


e prescript 000.py 是 第 一 个 被 加 载 的 plugin， 顾 名 思 义 它 提 供 了 一 些 全 局 的 
初始 化 设置 ， 比 如 ssh public key，default Pon > workers f 3t 4224 E > 
是 否 开 启 各 个 OpenStack 服 务 的 设置 等 等 ， 同 时 它 会 在 被 管理 的 主机 上 执行 一 
些 预备 任务 : 生成 authorized_keys 文 件 ， 安 装 并 开启 epel 源 和 [rdo 源 ， 安 装 
puppet 软 件 包 依赖 和 module 依 赖 等 等 。 

e puppet 950.py 是 一 个 重要 的 plugin， 顾 名 思 义 它 提供 了 “ipuppetia X f 4£ 
务 ， 例 如 : A Mk za manifest x fF > 45 Jl puppet modules 到 指定 主机 ， 生 成 
hieradata 文 件 ， 以 standalone 方 式 运行 puppet : 执行 puppet apply ， 获 取 
puppet 运 行 中 的 输出 等 等 。 

e postscript 951.py 是 最 后 一 个 呐 加 载 的 plugin， 它 只 做 了 一 件 事 情 ， 就 是 
运行 Tempest 跑 测试 任务 。 


动手 写 一 个 Plugin 


在 了 解 了 plugin 的 运行 机 制 后 ， 我 们 来 动手 写 一 个 plugin， 我 们 称 之 为 NOOP : 这 是 
一 个 空 Plugin， 上 默认 只 输出 一 行 信息 : NOOP Plugin. 


创建 一 个 Plugin 文 件 


在 packstack/plugins 目 录 下 ， 我 们 创建 一 个 plugin 文 件 : noop_840.py。 
设置 Import 和 Plugin 定 义 


# -*- coding: utf-8 -*- 


Installs and configures NOOP 


from packstack.installer import basedefs 
from packstack.installer import validators 
from packstack.installer import processors 
from packstack.installer import utils 


from packstack.modules.common import filtered hosts 
from packstack.modules.documentation import update params usage 
from packstack.modules.ospluginutils import generate ssl cert 


PLUGIN NAME - "NOOP" 
PLUGIN NAME COLORED = utils.color text(PLUGIN NAME, 'blue') 


boo ii! | 


每 个 Plugin 的 import 可 能 会 有 所 不 同 ， 但 大 多 数 都 会 用 到 packstack.installer 和 
packstack.modules ° 


此 外 ， 这 里 有 两 个 和 plugin 相 关 的 变量 : 
变量 说 明 
PLUGIN_NAME plugin 名 称 ， 全 部 大 写字 母 
PLUGIN_NAME_COLORED plugin 显 示 的 颜色 ， 默 认 使 用 blue 即 可 。 
定义 Plugin 的 配置 信息 


我 们 定义 一 个 initConfig 函 数 ， 其 中 包含 了 两 个 变量 : 


深入 理解 OpenStack 自 动 化 部 署 


e params 
e group 


def initConfig(controller): 


params = [ 
{"CMD_OPTION": "enable-noop", 
"USAGE": "To set up noop service set this to 'y'", 
"PROMPT": "Would you like to set up noop service", 
WOPT LONBLLST M and 
"VALIDATORS": [validators.validate options], 
"DEFAULT VALUE": "n", 
"MASK INPUT": False, 
"LOOSE VALIDATION": True, 
"CONF NAME": "CONFIG ENABLE NOOP", 
"USE DEFAULT": False, 
"NEED CONFIRM": False, 
"CONDITION": False}, 
l 


group = ("GROUP NAME": "NOOP", 
"DESCRIPTION": "NOOP Config parameters", 
"PRE CONDITION": "CONFIG NOOP INSTALL", 
"PRE CONDITION MATCH": "y", 
"POST CONDITION": False, 
"POST CONDITION MATCH": True) 
controller.addGroup(group, params) 


二 | 


params 是 NOOP plugin 定 义 的 配置 项 ， 每 个 配置 项 的 数据 类 型 是 字典 。 这 些 配置 项 
可 以 作为 顺序 执行 的 一 部 分 ， 或 者 作为 Puppet 模 板 的 变量 。 
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选项 
CMD_OPTION 
USAGE 
PROMPT 


OPTION_LIST 
VALIDATORS 
DEFAULT VALUE 


PROCESSORS 


MASK INPUT 


LOOSE VALIDATION 


CONF NAME 


USE DEFAULT 


NEED CONFIRM 
CONDITION 
DEPRECATES 


group 表 示 组 的 概念 ， 在 Packstack 中 ， 会 把 相关 的 配置 


说 明 
被 命令 行使 用 的 选项 名 称 
选项 的 使 用 说 明 ， 同 时 作为 answer file 的 注释 
交互 模式 下 给 用 户 的 提示 


可 选 值 列表 ， 可 以 设置 为 上 | 或 移 除 该 选 
项 值 无 限制 


验证 器 郊 数 列表 ， 用 于 检查 
选项 的 默认 值 


处 理 器 函数 列表 ， 处 理 器 函数 对 用 户 的 输入 做 了 处 
理 ， Oe RER 主机 名 转变 为 IP 
地 址 等 等 


是 否 隐 藏 用 户 的 输入 ， 如 password 


若 为 true， 则 即使 验证 器 返回 为 false， 仍 然 使 用 用 户 
输入 的 选项 值 


在 answerfile 中 的 配置 项 名 称 ， 你 同时 可 以 在 
controllerCONF dict 中 找到 


若 为 true, 在 交互 模式 下 ， 将 不 会 要 求 用 户 输入 此 变 
的 值 ， 而 直接 DEFAULT VALUE 


若 为 true， 则 要 求 用 户 确认 其 输入 (比如 password) 
enable/disable 该 选项 的 条 件 , 总 是 设置 为 False 即 可 
弃 用 的 CONF_ NAME 选 项 列表 ， 通 常 在 新 版 本 时 使 用 


项 ， 表 示 对 选 


输入 是 否 符合 要 求 


项 分 组 ， 这 样 就 可 以 通 


的 方式 来 管理 和 使 用 。group 的 数据 类 型 是 字典 : 


过 组 


选项 说 明 
GROUP NAME 组 名 ， 全 局 唯一 
组 的 描述 ， 在 命令 行 的 帮助 命令 下 会 显示 此 信 


we 


前 提 条 件 ， 可 以 是 一 个 配置 7j 65 AB MH HK AY) 3R 
PRE_CONDITION GERRA » d A False > I A 3X BOE RAE 
于 局 用 状态 


PRE CONDITION MATCH ” 前 提 条 件 的 预期 匹配 什 


配置 组 所 有 参数 是 正确 的 后 置 条 件 ， 若 设置 为 
False， 则 表示 不 做 检查 。 通 常设 置 为 False 


POST CONDITION MATCH ”后 置 条 件 的 预期 匹配 值 ， 通常 设置 为 True 


DESCRIPTION 


POST_CONDITION 


iy 


这 里 最 重要 的 是 PRE_CONDITION 和 PRE_CONDITION_MATCH ， 可 能 有 些 有 
> RATA Cinderk 4-73 4| * RA S PRE CONDITION ? 55 SF 
CONFIG_CINDER_INSTALL 为 "y" 时 ， 才 会 显示 "Cinder" 组 的 配置 选项 : 


{"GROUP_NAME": "CINDER", 

"DESCRIPTION": "Cinder Config parameters", 
"PRE_CONDITION": "CONFIG_CINDER_INSTALL", 
"PRE CONDITION MATCH": "y", 

"POST CONDITION": False, 

"POST CONDITION MATCH": True 


最 后 一 步 ， 把 这 些 已 定义 的 选项 添加 controller 的 组 中 : 


controller.addGroup(group, params) 


函数 执行 顺序 


E ee ea iy haat A 
: 从 用 户 给 定 的 变量 值 来 泻 当 template， 从 而 生成 该 服务 的 Puppet manifest% 

o MES eH HRA? h A AT ZEUG TULIP > Aa R AE 

initSeqeuence HA KR © 


我 们 假设 NOOP 服 务 的 安装 需要 数据 库 服务 MariaDDB， 以 及 在 Keystone 中 创建 
endpoint 等 操作 : 


def initSequences(controller): 


if controller .CONF['CONFIG_NOOP_INSTALL'] != 'y': 
return 
steps = [{'title': 'Adding MariaDB manifest entries', 


'functions': [create mariadb manifest]), 
{'title': 'Adding NOOP manifest entries', 
'functions': [create manifest]), 
('title': 'Adding NOOP Keystone manifest entries', 
'functions': [create keystone manifest])] 
controller.addSequence('Installing NOOP service', [], [], steps) 


setps 是 一 个 列表 ， 其 中 每 个 元 素 的 数据 类 型 都 是 字典 ， 它 的 格式 如 下 : 


选项 说 明 
title 函数 的 简单 描述 信息 
functions 函数 列表 


最 后 ， 我 们 调用 controller.addSequence() 方 法 把 plugin 的 steps 添 加 到 将 要 被 执行 的 
序列 列表 中 。 通 常情 况 下 ， 第 二 个 和 第 二 个 选项 为 空 。 


生成 manifest 文 件 


在 讲 生 成 manifest 文 件 之 前 ， 我 们 需要 花 些 时 间 来 了 解 packstack 的 templates， 在 
当前 版 本 中 packstack 的 templates 的 路 径 是 packstack/puppet/templates， 数 量 已 经 
从 几 十 个 前 减 为 3 个 : 


e controller 
e compute 
e network 


我 们 以 controller 为 例 ， 我 们 选取 其 中 的 代码 片段 : 


stage { "init": before => Stage["main"] } 


Exec { timeout => hiera('DEFAULT EXEC TIMEOUT') } 
Package { allow_virtual => true } 


class {'::packstack::prereqs': 
stage => init, 


include ::firewall 


if hiera('CONFIG NTP SERVERS', '') != '' { 
include '::packstack::chrony' 

} 

include '::packstack::amqp' 

include '::packstack::mariadb' 

if hiera('CONFIG_MARIADB_INSTALL') == 'y' { 
include 'packstack::mariadb::services' 

) else { 
include 'packstack::mariadb::services remote' 

} 


我 们 可 以 发 现 ， 这 实质 上 是 一 个 manifest 文 件 (.pp)， 而 非 template 文 件 (.erb)， 所 
有 class 或 define 的 include 不 再 使 用 erb 模 板 的 方式 来 泻 染 ， 而 是 使 用 了 简单 的 条 件 
判断 来 做 选择 。 


每 个 函数 都 是 接受 固定 的 两 个 参数 : 


e config 
e messages 


e Packstack 
o 简介 
o 部 署 前 准备 
E 快速 运行 
m 交互 式 运行 
m 非 交 互 式 方式 运行 


深入 理解 OpenStack 自 动 化 部 署 


o 深入 理解 Packstack 
a (+ 


A Plugin 
a 动手 写 


一 个 Plugin 
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Openstack-Ansible 


OSA 简 介 


OpenStack-Ansible 是 OpenStack 社区 的 官方 项 目 ， 可 以 部 署 在 指定 物理 机 器 上 ， 
而 不 使 用 容器 技术 ， 从 而 可 以 更 加 容易 的 去 的 运 维 、 升 级 、 及 扩展 集群 。 同 时 
OpenStack-Ansible (OSA) 使 用 Ansible 自动 化 工具 在 Ubuntu Linux 上 部 署 
OpenStack 集 群 。 为 了 隔离 和 易于 维护 ，OSA 也 可 以 使 用 Linux 容 器 (LXC) 将 
Openstack 核 心服 务 安装 到 容器 当中 。 除 了 OSA 社 区 中 官方 项 目 Kolla， 它 的 原理 基 
于 容器 作为 服务 载体 ， 使 用 Docker 技 术 ， 如 果 有 兴趣 读者 可 以 阅读 Kolla 章 节 。 


e 注意 了 解 本 章 需 要 你 有 一 定 的 Ansible 和 OpenStack 的 基本 概念 。 本 次 我 们 通 
过 一 个 OpenStack-Ansible 部 署 一 套 AIO 环 境 


Ansible 

Ansible 是 目前 市 面 上 非常 流行 一 个 自动 化 工具 ， 主 要 是 为 了 简化 系统 和 应 用 程序 的 
部 署 。Ansible 通 过 SSH 技 术 链 接 到 每 台 服 务 器 上 。Ansible 使 用 以 YAML 语 言 编写 的 
手册 进行 编排 。 

Linux containers (LXC) 

Linux Container 容 器 是 一 种 内 核 庶 拟 化 技术 。 容 器 通过 增强 chroot 环 境 的 概念 提供 
操作 系统 级 虚拟 化 。 容 器 为 特定 的 一 组 进程 隔离 资源 和 文件 系统 ， 而 没有 虚拟 机 的 
开销 和 复杂 性 。 们 访问 底层 主机 上 的 相同 内 核 ， 设 备 和 文件 系统 ， 并 提供 围绕 一 组 
规则 构建 的 精简 操作 层 。 


OSA 可 配置 的 组 件 


可 以 部 署 Infrastructure 组 件 包 括 


e MariaDB with Galera 

e RabbitMQ 

e Memcached 

e Repository 

e Load balancer 

e Utility container 

e Log aggregation host 

e Unbound DNS container 


可 以 部 署 的 Openstack 组 件 包括 OpenStack services 


e Bare Metal (ironic) 

e Block Storage (cinder) 

e Compute (nova) 

e Container Infrastructure Management (magnum) 
e Dashboard (horizon) 

e Data Processing (sahara) 

e Identity (keystone) 

e Image (glance) 

e Networking (neutron) 

e Object Storage (swift) 

e Orchestration (heat) 

e Telemetry (aodh, ceilometer, gnocchi) 


OSA XX Openstack 


环境 准备 ,需要 准备 如 下 配置 : 8vCPU's 50GB free disk space on the root 
partition *8GB RAM 


最 小 化 配置 需求 : 


e CPU 主板 支持 hardware-assisted 的 虚拟 化 
e 8 CPU Cores 
e 80GB 的 主 分 区 ， 或 者 60GB 的 第 二 块 分 区 。 (如 果 使 用 第 二 块 分 区 需要 使 用 


bootstrap host data disk device#%) 。 更 多 的 细节 可 以 去 看 如 下 链接 : 
官方 建议 配置 : 


e CPU 主板 支持 hardware-assisted 的 虚拟 化 

e 8 CPU Cores 

e 80GB 的 主 分 区 ， 或 者 60GB 的 第 二 块 分 区 。 (如 果 使 用 第 二 块 分 区 需要 使 用 
bootstrap host data disk device X) 。 更 多 的 细节 可 以 去 看 如 下 链接 : 

e 16GB RAM 

e 参考 文献 http://docs.openstack.org/developer/openstack-ansible/developer- 
docs/quickstart-aio.html 


开始 构建 AIO 环 境 通过 OpenStack-Ansible 部 署 一 套 AIO 环 境 有 四 步 曲 ， 但 是 第 一 步 
是 可 选项 ， 此 步骤 需要 你 自己 完成 。 


e 环境 配置 

e 安装 bootstrap 和 Ansible 

e 初始 化 主机 的 bootstrap 

e 运行 Playbook 
注意 : 当 部 署 一 套 新 的 集群 时 ， 我 们 建议 将 当前 机 器 的 内 核 及 软件 包 升 级 到 最 新 的 
版 本 。 并 且 如 下 的 命令 都 是 通过 Root 用 户 来 运行 。 可 以 在 虚拟 机 中 执行 AIO 构 建 以 
进行 演示 和 评估 ， 但 是 虚拟 机 性 能 会 很 差 。 对 于 生产 环境 中 建议 为 特定 角色 使 用 多 
节点 方式 。 


本 次 部 署 环境 使 用 Ubuntu 14.04 LTS，Ansible 版 本 为 2.2.0， 首 先 在 节点 所 有 将 
Package 更 新 


$ sudo apt-get dist-upgrade 


git clones #1 hk A tJ openstack-ansible 


$ sudo su - 
$ git clone https://github.com/openstack/openstack-ansible 
$ cd /opt/openstack-ansible 


根据 自己 需求 来 部 署 对 应 的 Openstack 集 群 版 本 


# 显示 所 有 的 TAG 号 
git tag -l 


+ + 


# 本 次 我 们 使 用 Newton 版 本 搭建 一 套 AIO 
git checkout stable/newton 


ik dt + 


git describe --abbrev=0 --tags 


# # Checkout the latest tag from either method of retrieving the t: 
4 git checkout 15.0.0.0rc1 


EE 





设 定 参数 在 部 署 过 程 中 会 使 用 


export BOOTSTRAP_OPTS="bootstrap_host_data_disk_device=vdb" 
export ANSIBLE_ROLE_FETCH_MODE=git -clone 


环境 执行 工具 的 安装 和 初始 化 


$ scripts/bootstrap-ansible.sh 


执行 命令 环境 准备 


$ scripts/bootstrap-aio.sh 


$ scripts/run-playbooks.sh 


安装 过 程 需 要 一 段 时 间 才 能 完成 ， 但 这 里 有 一 些 一 般 估计 : 


e。 带 SSD 存 储 的 裸 机 系统 : 30-50 分 钟 
e 具有 SSD 存 储 的 虚拟 机 : 约 45-60 分 钟 
e 系统 与 传统 硬盘 : 90-120 分 钟 


深入 理解 OpenStack 自 动 化 部 署 


一 旦 playbook 完 全 执行 ， 可 以 尝试 在 /etc/openstack_ id eddie variables.yml 中 
的 各 种 设置 更 改 ， 并 且 只 运行 单个 剧本 。 例 如 ， 要 运行 Keystone 服 务 的 剧本 ， 请 执 
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# cd /opt/openstack-ansible/playbooks 
# openstack-ansible os-keystone-install.yml 


重新 构建 环境 有 时 ， 销 毁 所 有 容器 并 重建 AIO 是 最 佳 的 方案 。 虽 然 最 佳 方案 是 AlIO 
被 完全 破坏 和 重建 ， 但 这 并 不 是 最 佳 的 方案 。 因 此 ， 可 以 执行 以 下 操作 


# cd /opt/openstack-ansible/playbooks 


# 删除 所 有 的 LXC 容 器 
# openstack-ansible lxc-containers-destroy.yml 


4 # On the host stop all of the services that run locally and not 
4 within a container. 


+ 


# for iin \ 
$(1s /etc/init \ 
| grep -e "nova\|swift\|neutron\|cinder" \ 
| awk -F'.' '(print $1)'); do \ 
service $i stop; \ 
done 


H E SpERPTAÀ CASCO 0penstack/ 4- 
# for i in $(pip freeze | grep -e "nova\|neutron\|keystone\|swift\ 
pip uninstall -y $i; done 


## 删除 日 志和 配置 目录 
# rm -rf /openstack /etc/{neutron, nova, Swift,cinder} \ 
/var/log/{neutron, nova, swift, cinder} 


# # 删除 pip 配 置 文件 
# rm -rf /root/.pip 


# # 删除 apt 的 proxy 配 置 文件 
# rm /etc/apt/apt.conf.d/00apt-cacher-proxy 
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OpenStack-ansible & £ '& #2 
OSA 将 安装 服务 文件 存放 在 /etc/openstack_deploy/conf.d/ 目 录 当 中 ， 提 供 AIO 和 


example 展 示 当 前 主机 组 使 用 的 文件 。 如 果 需 要 添加 其 它 服务 ， 分 配 主机 到 当前 的 
主机 文件 当中 ， 最 后 执行 playbooks 。 


setup-infrastructure.yml 文件 包含 了 如 下 yaml 


include: unbound-install.yml 


include: repo-install.yml 


include: haproxy-install.yml 


include: memcached-install.yml 


include: galera-install.yml 


include: rabbitmq-install.yml 


include: etcd-install.yml 


include: ceph-install.yml 


include: utility-install.yml 


include: rsyslog-install.yml 


Ansible 基础 服务 的 playbooks 安 装 如 下 基础 服务 : Memcached repository Galera 
RabbitMQ rsyslog memcached-install.yaml 详细 代码 ， 主 要 由 两 个 role 组 成 


- name: Install memcached 
hosts: memcached 
gather_facts: "{{ gather_facts | default(True) }}" 
max_fail_percentage: 20 
user: root 
pre_tasks: 
- include: common-tasks/os-lxc-container-setup.yml 
- include: common-tasks/os-log-dir-setup.yml 
vars: 
log dirs: 
- src: "/openstack/log/{{ inventory hostname }}-memcachec 
dest: "/var/log/memcached" 
- include: common-tasks/package-cache-proxy.yml 
roles: 
- role: "memcached_server" 
- role: "rsyslog_client" 
rsyslog_client_log_rotate_file: memcached_log_rotate 
rsyslog client log dir: "/var/log/memcached" 
rsyslog client config name: "99-memcached-rsyslog-client.con! 


tags: 
- rsyslog 
- role: "system crontab coordination" 
tags: 
- crontab 
vars: 
is metal: "{{ properties.is metal|default(false) }}" 
tags: 
- memcached 
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role: "memcached server" 默认 参数 
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44 Logging level 
debug: False 


## APT Cache Options 
cache timeout: 600 


4 Set the package install state for distribution packages 
# Options are 'present' and 'latest' 
memcached package state: "latest" 


4 Defines that the role will be deployed on a host machine 
is metal: true 


# The default memcache memory setting is to use .25 of the availab. 
4 as long as that value is < 8192. However you can set the "memcacl 
4 value to whatever you like as an override. 

base memcached memory: "{{ ansible memtotal mb | default(4096) }}" 
memcached memory: "{{ base memcached memory | int // 4 if base mem 


memcached port: 11211 

memcached listen: "127.0.0.1" 

memcached 10g: /var/log/memcached/memcached.1log 

memcached connections: 1024 

memcached threads: 4 

memcached file limits: "{{ memcached connections | int + 1024 jj" 


memcached distro packages: [] 
memcached test distro packages: [] 
install test packages: False 
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更 多 参数 可 以 参考 :https://github.com/openstack/openstack-ansible- 
memcached server 
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openstack-ansible setup-hosts.yml --syntax-check 
openstack-ansible setup-infrastructure.yml --syntax-check 
openstack-ansible setup-openstack.yml --syntax-check 
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优点 


e 部 署 简单 
e 支持 的 部 署 的 服务 多 
e 可 以 自 定 义 role 中 参数 


缺点 
e 友好 程度 


e Openstack-Ansible 

o OSA 简 介 

o Ansible 

o Linux containers (LXC) 

o OSA 可 配置 的 组 件 

o OSA 安装 Openstack 
OSA 部 署 流程 
a OSA 的 AIO 工 作 流 程 图 
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1. 为 什么 需要 Devstack ? 


OpenStack 是 一 个 十 分 复杂 的 分 布 式 系统 ， 部 署 难 度 较 大 ， 调 试 也 较 困 难 。 对 于 开 
发 者 ， ee. 可 以 随时 修改 代码 并 查看 结果 。 各 大 厂 
商 的 部 署 工具 一 般 都 支持 allinone 的 快速 部 署 ， 比 如 红 帆 的 RDO 工 具 等 。 不 过 这 些 
厂商 的 代码 包 通 常 是 随 着 OpenStack 的 大 版 本 发 布 而 更 新 ， 不 能 实时 与 社区 代码 同 
步 ， 而 对 于 开发 者 而 言 ， 往 往 需 要 的 是 最 新 的 代码 ， 精 确 到 最 新 的 一 次 commit ， 
此 使 用 厂商 提供 的 部 署 工具 难以 满足 开发 需求 。 幸 运 的 是 社区 已 经 提供 了 现成 的 快 
速 部 署 工具 ， 即 DevStack(Develop OpenStack)， 从 美文 名 称 上 也 能 看 出 这 是 专 为 
开发 OpenStack 量 身 打造 的 工具 。 





DevStack 不 依赖 于 任何 自动 化 部 署 工具 ， 纯 Bash 脚 本 实现 ， 因 此 不 需要 花费 大 量 
时 间 耗 在 部 署 工具 准备 上 ， 而 只 需要 简单 地 编辑 配置 文件 ， 然 后 运行 脚本 即 可 实现 
一 键 部 署 OpenStack 环 境 。 利 用 DevStack 基 本 可 以 部 署 所 有 的 OpenStack 组 件 ， 但 
并 不 是 所 有 的 开发 者 都 需要 部 署 所 有 的 服务 ， 比 如 Nova 开 发 者 可 能 只 需要 部 署 核心 
组 件 就 够 了 ， 其 它 服务 比如 Swift、Heat、Sahara 等 其 实 并 不 需要 。DevStack 充 分 
考虑 这 种 情况 ， 一 开始 的 设计 就 是 可 扩展 的 ， 除 了 核心 组 件 ， 其 它 组 件 都 是 以 插件 
的 形式 提供 ， 开 发 者 只 需要 根据 自己 的 需求 定制 配置 自己 的 插件 即 可 。 


DevStack 除 了 给 开发 者 快速 部 署 最 新 的 OpenStack 开 发 环境 ， 社 区 项 目的 功能 测试 

也 是 通过 +DevStack 完 成 ， 开发 者 提交 的 代码 在 合并 到 主 分 支 之 前 ， 必 须 通 过 

DevStack 的 所 有 功能 集 测 试 。 另 外 ， 前 面 提 到 DevStack 是 基于 代码 仓库 的 master 

s 如 果 你 想 尝试 OpenStack 的 最 新 功能 或 者 新 项 目 ， 也 可 以 通过 DevStack 
决 速 部 署 最 新 代码 的 测试 环境 。 


2. 三 步 玩 转 DevStack 


刚刚 提 到 DevStack 的 强大 之 处 ， 是 不 是 “蠢蠢欲动 " 想 要 小 试 牛 刀 ? 不 过 在 开始 之 
前 ， 我 得 友情 提醒 下 ，DevStack 运 行 后 会 安装 大 量 OpenStack 依 赖 的 软件 包 和 
Python 库 ， 如 果 你 怕 弄 乱 你 的 系统 ， 建 议 开 一 个 虚拟 机 (你 说 用 容器 ?you can * 
you up)， 在 虚拟 机 里 跑 DevStack 就 不 用 担心 会 弄 坏 你 的 系统 了 。 目 前 DevStack 支 


4¢Ubuntu 14.04/16.04 ` Fedora 23/24 ` CentOS/RHEL 74 & Debian 和 
OpenSUSE 操 作 系 统 ， 不 过 官方 建议 使 用 Ubuntu 16.04， 因 为 该 操作 系统 社区 测试 
最 全 面 ， 出 现 的 问题 最 少 。 


OK， 让 我 们 开始 一 步 步 走 起 吧 。 


2.1 创建 stack 用 户 


为 了 系统 的 安全 ，DevStack 最 好 不 要 在 root 用 户 下 直接 运行 ， 因 此 需要 创建 一 个 专 
门 的 用 户 stack， 该 用 户 需 要 有 免 密码 sudo 权 限 ， 配 置 如 下 : 


adduser stack 
echo "stack ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers # 建议 使 用 visud 
su stack 
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如 果 已 经 下 载 了 DevStack 代 码 ，DevStack 也 提供 了 一 个 专门 的 脚本 创建 stack 用 
户 ， 该 脚本 位 于 devstack/tools/create-stack-user.sh ， 直 接 运 行 该 脚本 即 


最 后 请 务必 检查 当前 工作 用 户 为 stack， 并 且 能 够 不 输入 密码 执行 Sudo 命 令 。 


2.2 配置 DevStack 


在 DevStack 根 目录 下 创建 local.conf 配置 文件 ， 包 念 admin 密 码 、 数 据 库 密 
码 、RabbitMQ 密 码 以 及 Service 密 码 : 


[[local|localrc] ] 

ADMIN PASSWORD-secret 

DATABASE PASSWORD-$ADMIN PASSWORD 
RABBIT PASSWORD-$ADMIN PASSWORD 
SERVICE PASSWORD-S$ADMIN PASSWORD 


你 也 可 以 直接 从 sample 目录 下 拷贝 一 个 模板 文件 ， 然 后 在 模板 文件 中 修改 。 


部 署 一 个 最 简单 的 OpenStack 环 境 以 上 配置 就 够 了 ， 是 不 是 特别 简单 ? 


2.3 Let DevStack Fly 


./stack.sh 


就 这 么 简单 ? 是 的 ， 一 键 部 署 ， 只 需要 一 个 命令 | 接 下 来 你 唯一 需要 做 的 ， 就 是 砌 
一 杯 咖 啡 静 静 地 等 待 ， 取 决 于 你 的 网 络 ， 通 常 需要 等 待 半 个 小 时 。 部 署 完 后 ， 会 输 
出 Dashboard 地 址 以 及 默认 创建 的 两 个 账号 ， 一 个 是 管理 员 账 号 admin， 另 一 个 是 
普通 账号 demo， 如 下 : 


This is your host IP address: 172.16.0.41 

This is your host IPv6 address: ::1 

Horizon is now available at http://172.16.0.41/dashboard 
Keystone is serving at http://172.16.0.41:5000/ 

The default users are: admin and demo 

The password: secret 


注意 以 上 部 署 的 是 一 个 精简 版 的 OpenStack 环 境 ， 黑 认 只 包含 核心 iain , 
&,4&Keystone ` Glance ` Nova ` Neutron ` Cinder ` Horizon > XR 4-1 x X 
通过 配置 文件 开启 对 应 的 插件 完成 ， 将 在 下 面 小 节 介 绍 。 


2.4 关于 下 载 速度 优化 


由 于 众所周知 的 原因 ， 运 行 DevStack 时 下 载 OpenStack 依 赖 包 和 Python 库 时 非常 
慢 ， en 常 耗 时 。 为 了 避免 这 个 问题 ， 很 多 人 都 会 从 以 下 几 个 
方面 优化 下 载 速度 ， 加 快 部 署 速率 : 


1. 使 用 国内 的 镜像 源 


对 于 Ubuntu 系统 就 是 修改 APT 源 ， 比 如 阿里 云 镜 像 源 ， 只 需要 修 
改 /etc/apt/source.list 配置 文件 即 可 ， 替 换 为 需要 使 用 的 镜像 源 。 如 : 


deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted unive! 
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restrict 
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restrict: 
deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restrict 
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restri« 
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted ur 
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main res! 
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main resti 
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-proposed main res! 
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main re: 
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2. 使 用 国内 的 pip 源 


只 需要 在 当前 家 目录 .pip 目录 创建 pip.conf 配置 文件 ， 以 使 用 阿里 云 为 例 ， 
配置 文件 内 容 如 下 : 


cat ~/.pip/pip.conf 

[global] 

index-url - http://mirrors.aliyun.com/pypi/simple/ 
[install] 

trusted-host=mirrors.aliyun.com 


3. 修 改 OpenStack 浙 码 地 址 

DevStack 默 认 会 从 git.openstack.org 下 拉 取 代码 ， 国 内 访问 速度 很 慢 ， 建 议 蔡 换 为 
github 地 址 或 者 国内 的 trystack 仓 库 ， 在 [[local|localrc]] 配置 下 增加 以 下 配置 
项 : 


GIT BASE-http://git.trystack.cn 


如 果 你 本 地 已 经 有 最 新 的 OpenStack 源 码 了 ， 也 可 以 指定 你 本 地 的 源码 路 径 ， 比 如 
使 用 本 地 的 Nova 源 代码 并 且 使 用 new feature JŽ: 


[[local|localrc] ] 
NOVA_REPO=/home/int32bit/nova 
NOVA_BRANCH=new_feature 


需要 注意 的 是 ， 国 内 源 存 在 同步 滞后 ， 可 能 包 不 兼容 或 者 下 载 某 些 包 失 败 问 题 ， 出 
现 这 种 情况 时 只 需要 重新 替换 原来 的 镜像 源 ， 然 后 重新 运行 EEEE T -o 


3. 使 用 DevStack 环 境 开 发 


DevStack 使 用 了 Linux 的 终端 复 用 工具 Screen， 不 同 的 服务 运行 在 不 同 的 window 
中 ，screen 的 使 用 方法 可 参考 官方 文档 。 通 常情 况 下 ， 我 们 都 是 针对 OpenStack 的 
菜 个 组 件 进行 开发 ， 比 如 Nova， 只 需要 找到 Nova 的 源码 路 径 ， 修改 对 应 的 源码 ， 
然后 重启 对 应 的 服务 即 可 。 比 如 你 修改 了 nova 源 码 下 

的 nova/compute/manager.py 代码 ， 则 需要 重启 nova-compute 服 务 ， 重 局 步骤 
如 下 : 


e 使 用 screen -1s 命令 查找 stack session。 


# screen -ls 
0s3:~> screen -list 


There is a screen on: 
28994.stack (08/10/2016 09:01:33 PM) (Detached) 


1 Socket in /var/run/screen/S-sdague. 
有 Eee 


e 通过 screen -r socket _ attach 到 前 台 运 行 ， 其 中 socket 为 scrren 的 名 


称 ， 以 上 为 28994.stack 。 
e 使 用 ctrl-a n 和 ctrl-a p 遍历 windows， 直 到 找到 nova-compute 服 务 。 


e 使 用 ctrl-c 杀 掉 nova-compute 进 程 。 
e 使 用 上 下 方向 键 遍历 历史 命令 ， 找 到 跑 nova-compute 服 务 的 命令 ， 重 新 运行 


"po 


有 些 服务 跑 在 Web 服 务 器 中 ， 比 如 Keystone 服 务 ， 此 时 重启 Keystone 服 务 只 需要 重 
局 Apache 服 务 即 可 。 


如 果 你 需要 修改 oslo 代 码 或 者 python-xxxclient 代 码 就 相对 麻烦 点 ， 因 为 这 些 代码 不 
同 于 OpenStack 源 码 ， 它 默认 不 是 从 代码 仓库 中 拉 取 ， 而 是 从 已 发 布 的 pypi 仓 库 中 
直接 安装 。 你 需要 履 盖 默认 配置 ， 手 动 配置 代码 仓库 源 : 


[[local|localrc] ] 
LIBS_FROM_GIT=oslo.policy 
OSLOPOLICY_REPO=/home/sdague/oslo. policy 
OSLOPOLICY_BRANCH=better_exception 


由 于 这 些 公共 库 需 要 被 许多 不 同 的 项 目 依赖 ， 因此 社区 的 推荐 做 法 是 需要 重新 部 署 
整个 DevStack 环 境 : 


./unstack.sh && ./stack.sh 


这 个 过 程 虽然 不 用 重复 从 网 络 上 下 载 包 ， 相 比 第 一 次 部 署 节 省 了 不 少时 间 ， 但 仍然 
还 是 挺 耗 时 间 的 ， 不 利于 单 步调 试 。 个 人 更 倾向 于 改 什 么 就 重启 什么 服务 ， 比 如 我 
修改 了 oslo.db 人 代码， 并且 主要 是 解决 Nova 问 题 ， 那 我 只 需要 重启 Nova 服 务 即 可 ， 
暂时 不 需要 重新 部 署 整 个 DevStack。 而 若 修 改 了 client 代 码 ， 不 需要 重启 任何 服 

务 ， 直 接 就 可 以 测试 功能 。 当 然 这 种 方式 没有 考虑 其 它 服 务 的 依赖 ， 可 能 引入 新 间 
题 ， 因 此 在 确定 开发 完成 后 ， 最 好 还 是 完 完全 全 走 一 人 遍 Unstack、stack 流 程 。 


4. 使 用 DevStack 部 署 其 它 QpenStack 服 务 


前 面 我 们 使 用 DevStack 部 署 了 一 个 精简 版 的 OpenStack 环 境 ， 其 中 只 包含 了 几 个 核 
心 组 件 。 其 它 OpenStack 服 务 是 通过 插件 形式 安装 ，DevStack 支 持 部 署 的 所 有 插件 
列表 可 参考 DevStack Plugin Registry， 截 至 2017 年 2 月 份 ，DevStack 共 包含 132 个 
安装 插件 。 其 中 包含 : 


e trove: 数据 库 服务 。 

e sahara: 大 数据 服务 。 

e ironic: 裸 机 服务 。 

e magnum: 容器 编排 服务 。 
e manila: 文件 共享 服务 。 

e cloudkitty: H 2» ARF ° 


需要 开局 部 署 某 个 服务 ， 只 需要 使 用 enable plugin 配置 指定 对 应 插件 即 可 ， 该 
配置 项 语法 为 : 


enable_plugin plugin_name [code repo] 


其 中 plugin name 为 插件 名 称 ， 可 以 在 插件 列表 中 找到 ， code repo 为 代码 仓 
库 地 址 ， 不 配置 就 使 用 默认 的 地 址 。 


比如 我 们 需要 开启 Sahara 服 务 ， 只 需要 在 local.conf 增加 以 下 配置 项 


enable_plugin sahara https://github.com/openstack/sahara.git 
enable plugin sahara-dashboard https://github.com/openstack/sahara: 


注意 以 上 我 们 同时 开启 了 两 个 Sahara 相 关 的 插件 ， 前 者 是 Sahara 插 件 ， 而 后 者 是 
dashboard 的 Sahara 插 件 ， 若 不 配置 该 插件 ， 在 dashboard 中 将 看 不 到 Sahara 面 
板 。 





除了 OpenStack 服 务 外 ，DevStack 还 支持 其 它 和 Openstack 相 关 的 插件 ， 比 如 默认 
情况 下 都 是 使 用 本 地 文件 系统 存储 作为 OpenStack 存 储 后 端 如 果 需 要 测试 Ceph 后 
端 ， 则 需要 开局 devstack-plugin-ceph 插 件 ， 该 插件 会 自动 部 署 一 个 单 节 点 Ceph 和 集 
群 ， 然 后 就 可 以 配置 Glance、Nova、Cinder、Manila 等 服务 使 用 Ceph 后 端 了 。 


enable plugin devstack-plugin-ceph git://git.openstack.org/openstac 


ENABLE_CEPH_CINDER=True # ceph backend for cinder 
ENABLE_CEPH_GLANCE=True # store images in ceph 
ENABLE_CEPH_C_BAK=True # cinder-backup volumes to ceph 
ENABLE_CEPH_NOVA=True # allow nova to use ceph resources 
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本 章 首先 介绍 了 DoVS loek 能 ， 然 后 详细 介绍 了 如 何 使 用 DevStack 快 速 部 署 一 
个 OpenStack 环 境 ， 最 后 介绍 了 使 用 DevStack 部 署 其 它 OpenStack 服 务 。 
DevStack 项 目 是 区 维护 的 、 专 门 为 OpenStack 开 发 人 员 准 备 的 快速 部 署 开发 环 
境 的 脚本 工具 ， 该 脚本 工具 具有 非常 灵活 的 扩展 性 ， 能 够 通过 配置 定制 化 部 署 


深入 理解 OpenStack 自 动 化 部 署 


OpenStack 服 务 。 除 此 之 外 ， 社 区 项 目的 功能 测试 也 是 通过 DevStack 完 成 的 。 由 此 
可 见 ，DevStack 是 社区 一 个 非常 重要 的 项 目 ，DevStack 出 现 问 题 不 仅 影 响 开 发 者 
开发 ， 还 将 可 能 导致 社区 的 CI 系统 奔 溃 。DevStack 使 用 Shell 脚 本 实现 ， 如 果 想 学 
习 Shell 编 程 ，DevStack 源 码 将 是 一 个 很 好 的 学 习 案 例 。 


1. DevStack 官 方 文档 : http://docs.openstack.org/developer/devstack/ 

2. Developing with Devstack: 
http://docs.openstack.org/developer/devstack/development.html 

3. devstack ceph plugin: https://github.com/openstack/devstack-plugin-ceph 


e 1. 为 什么 需要 Devstack ? 
e 2. 三 步 玩 转 DevStack 
o 2.1 创建 stack 用 户 
o 2.2 配置 DevStack 
o 2.3 Let DevStack Fly 
2.4 关于 下 载 速度 优化 
m 1. 使 用 国内 的 镜像 源 
m 2. 使 用 国内 的 pip 源 
a 3. 修 改 OpenStack 源 码 地 址 
o 3. 使 用 DevStack 环 境 开 发 
e 4. 使 用 DevStack 部 署 其 它 OpenStack 服 务 


y 
e nos 结 


o 


X 
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编写 一 个 定制 化 的 部 署 工具 


需求 和 定制 


在 前 面 的 篇 巾 中， 我 们 介绍 了 各 种 部 署 工 具 和 其 使 用 的 简单 介绍 。 当 你 在 使 用 它们 
来 自动 化 地 搭建 企业 的 云 平 台 时 ， 会 发 现 其 实 没有 哪个 工具 可 以 完美 地 解决 企业 /用 
户 的 需求 


e 用 户 使 用 了 一 种 新 SDN 技 术 ， 现 有 工具 无 法 支持 

e 云 平台 的 架构 比较 特殊 ， 现 有 工具 无 法 支持 

e 内 部 的 认证 / 计 费 /报警 系统 也 需要 通过 同一 套 部 署 工具 进行 整合 ， 开 源 工 具 显 
然 无 法 满足 


那么 在 这 种 情况 下 ， 我 们 建议 读者 开始 使 用 考虑 编写 一 个 定制 化 的 部 署 工具 ， 可 以 
在 现 有 工具 的 基础 上 进行 二 次 开发 ， 或 者 全 新 开发 。 
e 编写 一 个 定制 化 的 部 署 工具 
o 需求 和 定制 


结语 


近年 来 ， 我 们 看 到 越 来 越 多 的 数据 中 心 被 各 种 技术 云 化 ， 向 外 /内 提供 按 需 使 用 的 服 
务 。 而 OpenStack 作 为 最 流行 的 laaS 层 开源 项 目 ， 已 经 被 运用 到 越 来 越 多 的 数据 中 
心中 ， 而 在 这 背后 的 运 维 自动 化 技术 则 发 挥 着 举足轻重 的 作用 。 


软件 部 署 是 云 数据 中 心 运 维 Wworkflow 重 要 的 开端 ， 而 后 期 为 开发 人 员 提 供 稳定 的 开 
发 环境 ， 提 供与 线 上 一 致 的 测试 环境 ， 完 成 线 上 的 计算 /存储 /网 络 /控制 节点 的 扩容 
操作 ， 完 成 服务 的 配置 变更 ， 完 成 软件 版 本 的 升级 ， 提 供 安全 加 固 等 工作 都 是 运 维 
自动 化 的 关注 重点 。 


OpenStack 在 经 历 了 多 年 的 发 展 之 后 ， 已 经 演化 出 大 量 的 部 署 自动 化 的 项 目 / 工 具 / 
产品 ， 其 中 不 少 已 经 得 到 了 生产 环境 的 严格 检验 。 


我 们 已 经 看 到 当前 关于 OpenStack 自 动 化 的 趋势 已 从 仅 提 供 软 件 部 署 逐 渐 覆 盖 到 物 
理 机 管理 (如 Fuel,TripleO)， 与 Cl 系统 结合 ， 提 供用 于 运行 集成 测试 的 测试 环境 ; 提 
供 Openstack 服 务 的 大 版 本 升级 能 力 ， 以 及 配置 加 国 等 安全 能 力 。 


我 们 庆幸 出 生 在 这 个 时 代 ， 因 为 我 们 正在 改变 数据 中 心 ， 改 变 世界 。 
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术语 


class 


puppet 中 用 于 管理 resource 的 集合 ， 与 面向 对 象 编程 中 的 类 无 关 。 


5.4. puppet-openstack-integration 5.9. puppet-stdlib 

4.2. puppet-keystone7€2X 4.17. puppet-aodh 模 块 4.7. puppet-ceilometer 
4.8. puppet-cinder 4.16. puppet-designate 4.5. puppet-glance 

4.10. puppet-heat 4.6. puppet-horizon 4.1. OpenStack 模 块 代码 结构 
4.14. puppet-manila 4.4. puppet-neutron 4.3. puppet-nova 

5.1. puppet-oslo 4.15. puppet-rally 4.13. puppet-sahara 4.11. puppet-swift 
4.9. puppet-tempest 4.12. puppet-trove 3.6. puppet-rabbitmq 模 块 

3.1. puppet-apache/€2& — 3.7. puppet-firewall 模 块 

3.2. puppet-memcached/&2X — 3.10. puppet-mongodb/ +} 

3.8. puppet-mysqU€2X 3.4. puppet-rsynci€?X — 3.3. puppet-sysctli 3X 
5.2. puppet-vswitch 模 块 ”6.5. 转发 层 规范 6.2. Hiera 

1. 初 识 PuppetOpenstack 1.2. 术语 表 7.4. Packstack 2.3. 理解 Hiera 
2.2. Puppet 核 心 概念 
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